[Airflow] ec2를 사용해 클라우드에 airflow 띄우기 - (1. EC2 인스턴스 만들기)

노트북에 airflow를 docker에 올려 로컬 환경에서 돌리며 실습하던 중 노트북이 램, CPU 사용량이 너무 높아져 실습이 어려운 상황이 자주 발생하였다.

 

이를 해결하고자 AWS에 EC2로 우분투 인스턴스를 만들어 그 안에 docker를 설치하고 airflow를 돌려야겠다고 생각했다.

 

 

실습 비용이 부족해 t3.micro 모델을 사용하려고 했지만, docker에 컨테이너로 airflow를 돌릴것이기 때문에 메모리가 1GB 더 많은 t3.small를 사용하였다.

 

실습은 mac 환경에서 하기때문에 key는 pem키로 받았어야 하지만, 집에 있는 컴퓨터는 윈도우이기 때문에 ppk로 받고 puTTYgen을 이용해 pem키로 바꿔줄 것이다.

 

1. putty로 서버 접속하기

 

 

 

1. puTTY에 접속하고 Host Name에 생성한 인스턴스의 퍼블릭 주소를 넣는다.

 

 

2. Connection > SSH > Auth > Credentials 에서 Private Key file에 아까 발급 받은 ppk 파일을 넣어준다.

3. Open을 눌러 프롬프트 창을 확인한다.

ubuntu@ip-172-xx-xx-xx:~$ 모양의 프롬프트가 떴다면 성공.

 

 

이후의 과정은 다음 포스팅에서 다루겠습니다.

감사합니다.