술척한 엔지니어

  • 홈
  • 태그
  • 방명록

externaltasksensor 1

[Airflow] DAG dependency - ExternalTaskSensor

겪은 문제점 Quicksight 대시보드 업데이트, 통계 데이터 마트 테이블 적재는 모든 데이터들이 데이터웨어하우스에 적재된 이후에 실행이되어야함 DB 테이블 적재 DAG와 LOG 적재 DAG가 분리되어있음 두 DAG를 합친다?=> 추후 병렬로 처리할 DB DAG 때문에 상당히 복잡해지는 문제점 발생 ㅠ 해결책 해결책은 DAG 끼리 Dependency를 적용하는 것으로 크게 세가지가 방법이 존재한다. 1. ExternalTaskSensor 하위 DAG에서 상위 DAG를 호출 2. TriggerDagRunOperator 상위 DAG에서 하위 DAG를 호출 3. Airflow API REST API 날려서 다른 DAG를 호출 여기서, 나는 ExternalTaskSensor을 채택하게 되었는데, 채택 이유는 ..

카테고리 없음 2022.09.19
이전
1
다음
더보기
프로필사진

술척한 엔지니어

헤헤

  • 분류 전체보기 (15)
    • Python (4)
    • Spark (2)
    • DataBase (0)
    • AWS (1)
    • Network (0)
    • Docker (5)

Tag

Glue, Python, Airflow, Spark, Docker, 상속, container, conf, dask, 병렬처리, externaltasksensor, aws, data, pyspark, pandas, mwaa, parallel computing, memory allocattion, GC, garbage collector,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/09   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바