공부 및 정리/데이터 엔지니어링7 [Airflow] 개요 및 설치 방법 Airflow는 복잡한 워크 플로우와 데이터 처리 파이프라인을 구성 및 스케쥴링하고 모니터링하는데 특화된 오픈소스 Orchestration 플랫폼으로 Python으로 작성되어있다. Orchestration이란? PostgreSQL의 데이터를 불러와 Spark에서 작업한다던지, HDFS에 올린다던지 하는 솔루션과 솔루션과의 연계와 데이터 통신을 제어하는 것을 Orchestration이다. Airflow는 이러한 제어를 확장성있게 제공하기에 매우 큰 인기를 얻고 있는 중이다. Airflow란 💡 Airflow는 파이썬을 활용해 워크플로우를 만들고 관리할 수 있는 **오픈소스** 기반 워크플로우 관리 도구이다. 워크플로우란 업무의 단계를 의미한다. 예를 들어 아래와 같은 업무가 있다고 하자. API를 사용해 .. 2024. 3. 4. 이전 1 2 다음
