티스토리

술척한 엔지니어
검색하기

블로그 홈

술척한 엔지니어

sol-hee.tistory.com/m

헤헤

구독자
1
방명록 방문하기

주요 글 목록

  • [MWAA] GlueJobOperator 트러블슈팅기 (with. v2.2.2 -> v2.5.1 마이그레이션) MWAA 를 2.2.2 에서 2.5.1로 업그레이드하는 중에, 기존의 GlueJobOperator 사용 시 기존 구성된 값을 모두 초기화 시키는 이슈 발생했다. 이슈 MWAA를 2.5.1로 업그레이드하고 나서 stage 환경에서 테스트를 진행하는데.... 이전에 구성해두었던 glue job config가 완전히 초기화되었다. 심지어 spark 로 설정해둔 것들이 python으로 변경되면서 정상적으로 실행되던 코드들이 아예 실행되지 않았다. 의심 boto3 버전의 문제 amazon providers 버전 문제 (기존 3.x.x -> 7.x.x) 원인 파악 우선, boto3 버전은 많이 변경되지 않았기 때문에 (해봤자 버그 픽스 정도.. ), 2번 amazon providers 의 문제일 거라 판단했다. M.. 공감수 0 댓글수 0 2023. 6. 14.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.