Airflow 3 버전 SQLAlchemy 2.0 호환성 이슈

에러 내용Airflow 를 빌드하는데 다음과 같이 에러가 발생했다.TypeError: Invalid argument(s) 'executemany_values_page_size','encoding' sent to create_engine(), using configuration PGDialect_psycopg2/QueuePool/Engine. Please check that the keyword arguments are appropriate for this combination of components. 원인 분석이 에러가 발생한 원인에 대해서 찾아보니 다음과 같았다. Airflow 3 버전과 sqlalchemy 2.0 사이의 호환성 문제라고 한다.호환성 문제가 발생하는 이유는 제거된 파라미터를 사용해서..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2026. 2. 2.
• textsms

Airflow 3 버전 API 변경사항 알아보기

Airflow 2버전에서 3버전으로 마이그레이션을 진행해서 사용하고 있는데 사용하고 있던 API 가 되지 않았다.그래서 찾아보니 Airflow 가 3버전으로 버전이 업그레이드 되면서 API 를 호출하는 방식이 변경되었다고 한다. 그래서 어떻게 변경되었고 어떻게 사용해야하는지 확인해봤다. API 인증 방식 변경기존 Airflow 2 버전에서는 FAB 인증 방식을 사용했었는데 Airflow 3 버전에서는 JWT(Json Web Token) 기반 인증으로 변경되었다.Airflow 2 버전 API 인증 방식Airflow 2 버전에서는 FAB 인증방식을 통해 API 인증을 진행한다. FAB 인증 방식에 대해서 더 찾아보았는데 Flask-AppBuilder 가 제공하는 보안 및 사용자 관리 시스템을 Airflow ..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2026. 1. 30.
• textsms

Docker build 실패 (max depth exceeded)

결론 미리보기docker build 할 때 max depth exceeded 가 발생한다면 실행중인 컨테이너를 종료하고 관련된 내용을 모두 삭제한 후 다시 빌드하면 정상적으로 빌드가 된다. 에러 원인 분석하기docker compose 를 사용해서 ariflow 를 build 하려다가 에러가 발생했다.$ docker compose build[+] Building 0.1s (9/9) FINISHED ..

• format_list_bulleted DevOps/Docker
• · 2025. 11. 16.
• textsms

Airflow 3.0 버전 업데이트 알아보기 (3) - 중요한 변화 살펴보기

벌써 한 달이라는 시간이 흘렀다. 그동안 일정이 너무 바빠 정리를 못하고 있다가 오늘에서야 3.0 버전의 중요한 변화들에 대한 정리를 마무리해보려고 한다. Airflow 3.0 버전 문서를 다시 첨부해두었다. Release Notes — Airflow 3.1.2 Documentation airflow.apache.org 업데이트된 스케줄링 기본값 (Updated Scheduling Default)airflow 3.0 버전에서는 구성파일에 catchup_by_default = False 설정을 통해 새로운 DAG 의 기본 동작을 변경할 수 있다고 한다.이것은 catchup = ... 설정을 명시하지 않은 DAG 는 더 이상 기본적으로 누락된 간격의 백필을 지원하지 않는다는 것을 말한다.이 변화는 새로운 유..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2025. 11. 9.
• textsms

Airflow 3.0 버전 업데이트 알아보기 (2) - 중요한 변화 살펴보기

지난 번에는 Airflow 3.0 버전으로 업데이트되면서 바뀐 부분에 대한 하이라이트만 다루었었다.이번에는 Airflow 가 3.0 버전으로 업데이트 되면서 정말 많은 변화가 있는 것으로 보았는데 어떤 중요한 변화가 있었는지 하나씩 살펴보려고 한다. 아래의 문서에서 확인할 수 있다. Release Notes — Airflow 3.1.0 Documentation airflow.apache.org Task Execution API & Task SDK (AIP-72) AIP-72 Task Execution Interface aka Task SDK - Airflow - Apache Software Foundation페이지 Airflow Home Airflow Improvement Proposals Ash Ber..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2025. 10. 12.
• textsms

Airflow 3.0 버전 업데이트 알아보기 (1) - 하이라이트 살펴보기

최근에 알게 되었는데 airflow 가 2.0 버전에서 3.0 버전으로 업데이트가 되었다는 것이다.Airflow release note 를 확인해보니 올해 4월에 3.0 버전이 나온 것으로 보였다.2.0 버전이 나온 것은 2020 년 12월로 알고 있으니까 대략 4년 조금 더 걸린 것 같다. Release Notes — Airflow 3.1.0 Documentation airflow.apache.org 그래서 릴리즈 노트를 보면서 기존에 사용하고 있던 airflow 2.0 버전에서 3.0 버전으로 업데이트 되면서 어떤 부분들이 달라졌고 업데이트하는 과정에서 어떤 부분들을 비교하고 살펴보면 좋은지 정리해보려고 한다. 주요 업데이트 내용airflow 공식 문서에서는 하이라이트로 몇 가지 주요 업데이트 내용에..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2025. 9. 28.
• textsms

kubernetes 환경에서 airflow 외부 접속을 위한 포트 설정하기

현재 helm chart 를 사용해서 kubernetes 에 배포를 한 상태인데 api server 에 접속을 하기 위해서는 매번 포트 포워딩을 해서 접속을 해야한다. 이 부분이 너무 귀찮아서 직접 포트 포워딩을 하지 않고 접속하는 방법이 있는지 찾아봤다. 찾아보니 3가지 방법을 찾을 수 있었다.nodePort 설정하기이 방법은 주로 온프레미스 환경이거나 테스트 환경에서 권장한다고 한다.loadBalancer 설정하기이 방법은 주로 클라우드 환경에서 여러 서버 간 로드밸런싱이 필요한 경우 사용한다고 한다.퍼블릭 IP 로 설정해주게 되면 로드 밸런싱을 통해 분산 처리가 가능하다.Ingress 설정하기이 방법은 주로 nginx 와 같은 프록시가 있는 운영 환경에서 주로 사용한다고 한다.도메인을 통해 접속을 ..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2025. 9. 28.
• textsms

helm chart 를 사용해서 kubernetes 환경에 airflow 배포하기

지난 번에 나는 로컬 환경에서 kind 를 통해 간단하게 kubernetes 환경을 구축했었다.이번에는 드디어 만들어진 kubernetes cluster 에 airflow 를 설치해보려고 한다. 쿠버네티스 위에 airflow 를 올리는 것은 이번이 처음인데 열심히 찾아보고 공부하면서 만들어봐야겠다. 자, 그럼 하나씩 만들어보자! 1. helm chart 를 사용해서 airflow 패키지 다운로드 받기먼저 helm chart 를 사용해서 airflow 를 설치하는데 필요한 airflow 패키지를 다운로드 받으려고 한다. 1) helm 설치하기그러기 위해서는 먼저 helm 을 설치해주어야 하는데 맥북에서는 다음과 같이 설치할 수 있다.brew install helm 설치가 완료되고 나서 help 를 통해 사..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2025. 9. 27.
• textsms