DAG분리1 Airflow DAG에서 다른 DAG 호출하기 (DAG 종속성) 조사 동기 프로젝트를 진행하며 하나의 dag에 모든 task를 넣다보니 아래와 같은 문제점이 발생했다. 1. DAG가 복잡해져 가독성이 떨어진다. 2. task를 추가하는 등의 추가 작업이 어렵다 따라서, dag를 분리하여 확장성과 가독성을 향상시킬 필요성을 느꼈다. 목표 1. 이후에 진행되어야 할 dag를 어떻게 호출 할 수 있는 지 2. 이전 dag의 success / fail flag를 어떻게 받아올 지 DAG 종속성 dag를 설계할 때 dag끼리 종속성을 갖지 않는 것이 가장 좋지만 어쩔 수 없이 종속성을 만들어야하는 경우가 있다. 예시 두 dag는 종속되지만 일정이 다름 두 dag는 종속되지만 서로 다른 팀에서 소유 task는 다른 task에 종속 되지만 excution_date가 다름 타 DA.. 2024. 1. 21. 이전 1 다음
