task creat1 Airflow Dag 작성 Best practice Airflow 공식홈페이지에서 안내하는 Dag 작성 Best practice를 기반으로 평소에 염두해 두고 코드를 작성하기 위해서 정리했다. 참고: https://airflow.apache.org/docs/apache-airflow/2.0.0/best-practices.html#writing-a-dag 🏅 Airflow Best Practice DAG 작성 Task 사이의 데이터 전달은 작은 사이즈는 Xcom 을 사용하고, 대용량은 S3/HDFS 같은 외부 저장소를 사용한다. Airflow에 등록한 Variable은 Operator의 execute()나 Jinja template 외에서의 사용은 지양한다. 불필요한 top level code는 지양한다. import pendulum from airflow.. 2023. 11. 5. 이전 1 다음