Data Engineering/Airflow6 Airflow Rest API를 사용하여 DAG 호출하기 API 인증 설정 username, password를 사용해서 인증을 할 수 있도록 airflow.cfg파일에서 아래와 같이 설정한다. 기본 설정값은 session 인증이다. [api] auth_backends = airflow.api.auth.backend.basic_auth 현재 설정된 값을 확인하고 싶으면 아래 명령어를 이용한다. $ airflow config get-value api auth_backends airflow.api.auth.backend.basic_auth DAG 파일 작성 호출 할 DAG파일을 작성한다. 아래의 예제는 DAG를 호출 할 때 configuration값을 넘겨서 호출 된 DAG에서 해당 값을 사용할 수 있도록 구성되어 있다. import pendulum from air.. 2024. 1. 13. Airflow를 알아보자 얼마전에 프로그래머스에서 하는 "실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python" 강의를 수강 완료 했다. 강의를 통해서 그동안 호기심이 많았던 Airflow를 처음 사용해봤다. 앞으로 계속해서 배운 내용을 토대로 Airflow를 더 깊고 다양하게 사용해 볼 예정이나, 그 전에 Airflow에 대해서 좀 더 알아보고 정리해 놓고 싶다는 생각이 들어 이 글을 작성한다. Apache Airflow 란?? Airflow는 Python 코드를 사용하여 배치 워크플로우를 개발, 예약 및 모니터링 할 수 있는 오픈소스 플랫폼이다. Airflow를 이용하여 ETL작업을 자동화 할 수 있고, 웹 UI를 이용해서 워크플로우의 상태를 관리 할 수 있다. 워크플로우에서는 각 작업간의 종속성을 정의 .. 2023. 5. 14. 이전 1 2 다음
