술척한 엔지니어

💫 개요 Glue Job 사용, 데이터 Transform 완료 후 Redshift에 Load Connection을 사용해서 특정 VPC, subnet 안에서 실행되도록 설정 Schedule 관리는 MWAA(Managed Airflow)의 GlueJobOperator을 사용 👀 이슈 An error occurred while calling o436.pyWriteDynamicFrame. File already exists:s3:///folder1/sample.csv 실행하다가 이런 에러가 반복적으로 발생했다. 물론, retry도 설정하지 않았다. ▶ 세부 설정 fail 시 retry 지정하지 않음. glueContext.write_dynamic_frame.from_options 메서드를 사용하여 redshi..

Spark는 여러 개의 서버 혹은 로컬 환경에서 구축할 수 있다. 그러면, 어떻게 환경을 세팅하고 셋팅된 정보를 얻을 수 있는가? 우선 local 환경에 spark를 구축하고 My app이라는 별칭을 붙여주었다. from pyspark.conf import SparkConf from pyspark.context import SparkContext # config conf = SparkConf() conf.setMaster("local").setAppName("My app") conf.get("spark.master") # return 'local' conf.get("spark.app.name") # return 'My app' conf.toDebugString() # return 'spark.master..