ssh 터널링2 Private RDS에 Local Airflow에서 접근하기 프로젝트를 하다보니 Private Subnet에 생성한 RDS에 Local Airflow에서 테스트를 하고 싶은 일이 경우가 자주 발생했습니다.이를 위해 먼저 SSH 터널링을 사용해 Local 포트와 RDS 포트(3306)를 연결합니다.ssh -i ./BastionHostKey.pem -L 3307:[RDS 엔드포인트]:3306 ubuntu@[BastionHost IP]이를 통하여 로컬 3307 포트가 RDS의 3306 포트로 포트포워딩 되었습니다.이를 확인하기 위해 lsof -i :3307 명령을 통해 포트가 열려있는지 확인할 수 있습니다. 이후 Airflow를 Docker를 통하여 올린 후 Connections에 아래와 같이 추가합니다.Connection ID: 마음대로 만드셔도 상관 없습니다.Con.. 2024. 7. 24. AWS EMR을 활용한 Spark 클러스터 서버 구축 Spark에 대해 공부하던 도중 AWS의 EMR을 활용하여 Spark 클러스터 서버를 구축해보며, 이를 구축하는 방법에 대해 간단히 정리해보려 한다. EMR이란?먼저 EMR에 대해서 간단히 알아보자.빅 데이터 플랫폼 - Amazon EMR - Amazon Web Services AWS 공식 홈페이지에 따르면 EMR은 Elastic Map Reduce의 약자로 Spark, Hive, Presto등과 같은 오픈소스 빅 데이터 처리 프레임 워크를 사용할 수 있는 솔루션을 의미한다.또한 추가적 애플리케이션으로 HBase, Hadoop 등을 제공할 수 있다고한다.이를 통해 아래 사항들을 처리 가능하다.빅 데이터 분석확장 가능한 데이터 파이프라인 구축실시간 데이터 스트림 처리데이터 과학 및 기계학습 채택 가속화즉,.. 2024. 6. 24. 이전 1 다음
