Airflow 3 버전 SQLAlchemy 2.0 호환성 이슈

에러 내용Airflow 를 빌드하는데 다음과 같이 에러가 발생했다.TypeError: Invalid argument(s) 'executemany_values_page_size','encoding' sent to create_engine(), using configuration PGDialect_psycopg2/QueuePool/Engine. Please check that the keyword arguments are appropriate for this combination of components. 원인 분석이 에러가 발생한 원인에 대해서 찾아보니 다음과 같았다. Airflow 3 버전과 sqlalchemy 2.0 사이의 호환성 문제라고 한다.호환성 문제가 발생하는 이유는 제거된 파라미터를 사용해서..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2026. 2. 2.
• textsms

Notion 버튼을 누르면 버튼을 클릭한 사람이 지정되도록 만들기

노션에서 버튼을 누르면 버튼을 클릭한 사람이 자동으로 맨션이 되면서 블럭을 생성하는 방법이다.매우 간단하기 때문에 노션을 통해 업무 보고를 구분해서 적는다거나 회의록을 적는다거나 아니면 주기적으로 팀원마다 무언가를 작성해야할 때 사용하면 좋다. 1. 버튼 만들기/ 를 통해 버튼을 검색하면 아래와 같이 버튼을 만들 수 있다.버튼을 만들게 되면 버튼을 클릭할 때 어떤 작업을 할지 설정할 수 있다.2. 버튼 안에 작업 만들기다음으로 버튼 안에 작업을 만들어주어야 하는데 먼저 아이콘과 새 버튼이라고 되어있는 곳은 버튼에 표시되는 내용이라 "작성하기" 라고 간단하게 적어주었다. 그리고 버튼을 클릭했을 때 어떤 동작을 할지 골라야 하는데 + 새 작업 버튼을 누르게 되면 여러 작업이 나오게 된다.나는 여기에서 블록 ..

• format_list_bulleted 협업툴/Notion
• · 2026. 1. 30.
• textsms

Airflow 3 버전 API 변경사항 알아보기

Airflow 2버전에서 3버전으로 마이그레이션을 진행해서 사용하고 있는데 사용하고 있던 API 가 되지 않았다.그래서 찾아보니 Airflow 가 3버전으로 버전이 업그레이드 되면서 API 를 호출하는 방식이 변경되었다고 한다. 그래서 어떻게 변경되었고 어떻게 사용해야하는지 확인해봤다. API 인증 방식 변경기존 Airflow 2 버전에서는 FAB 인증 방식을 사용했었는데 Airflow 3 버전에서는 JWT(Json Web Token) 기반 인증으로 변경되었다.Airflow 2 버전 API 인증 방식Airflow 2 버전에서는 FAB 인증방식을 통해 API 인증을 진행한다. FAB 인증 방식에 대해서 더 찾아보았는데 Flask-AppBuilder 가 제공하는 보안 및 사용자 관리 시스템을 Airflow ..

• format_list_bulleted 데이터 엔지니어링/Airflow
• · 2026. 1. 30.
• textsms

Chain-of-Thought(CoT) 프롬프트 이해하기

어떻게 질문해야 LLM 이 더 잘 이해하고 내가 원하는 답변을 만들어줄까? 라는 고민을 하면서 프롬프트를 어떻게 작성할까? 하는 질문을 하게 된다. 프롬프트를 입력해 LLM 에게 전달해 답변을 생성하게 되는데 이 프롬프트를 어떻게 작성하느냐에 따라서 답변의 질이 달라진다고 할 수 있다. 그래서 프롬프트 기법의 하나인 CoT(Chain-of-Thought) 에 대해서 이해하고 정리해보려고 한다. 참고로 아래의 문서를 보면 여러 프롬프트 기법에 대해서 잘 설명이 되어있어 참고하면 좋을 것 같다. Chain-of-Thought Prompting – NextraA Comprehensive Overview of Prompt Engineeringwww.promptingguide.ai CoT (Chain-of-Th..

• format_list_bulleted AI/개념정리
• · 2026. 1. 21.
• textsms

LangChain 에서의 Agent 와 Chain 의 개념 이해하기

LangChain 을 사용해서 LLM Agent 를 개발하면서 Agent 와 Chain 의 개념에 대해서 제대로 정확하게 알고 있지 않은 것 같다는 생각이 들었다. Agent 는 자율적으로 스스로 선택해서 동작하는 것으로 알고 있었고 Chain 은 LLM 과 프롬프트 그리고 출력을 하나로 묶는 것을 Chain 으로 알고 있었는데 내가 제대로 알고 있는 게 맞는 건지 다시 정리해보려고 한다. 체인 (Chain)먼저 체인에 대해서 알아보려고 한다. 체인에 대한 정의는 다음과 같이 하고 있다. 미리 정의된 순서로 여러 단계를 연결한 하나의 파이프라인 이렇게만 보면 결국에는 프롬프트를 입력받아 LLM 에게 보내고 LLM 으로부터 생성된 결과를 연결하는 것을 하나의 체인으로 봐도 될 것 같다. 예를 들어, 블로그..

• format_list_bulleted AI/개념정리
• · 2026. 1. 17.
• textsms

Python UV 설치해서 사용해보기

지금까지 나는 conda 또는 venv 를 사용해서 파이썬 가상환경을 생성하고 그 안에 프로젝트별로 패키지를 설치해서 사용하고 있었다. 그러던 와중에 uv 라는 것을 알게 되어 사용해보려고 한다. homebrew 사용해서 UV 설치하기먼저 homebrew 를 사용해서 uv 를 설치한다.$ brew install uv✔︎ JSON API cask.jws.json ..

• format_list_bulleted 프로그래밍/Python
• · 2026. 1. 12.
• textsms

BigQuery 파티셔닝(Partitioning) 과 샤딩(Sharding) 비교하기

빅쿼리를 사용하다보면 데이터 조회를 최적화하기 위해서 여러가지 설정을 하게 되는데 그 분 파티셔닝과 샤딩을 많이 사용하게 된다.파티셔닝과 샤딩 모두 대용량 테이블을 보다 효율적으로 다루기 위한 방법이라고 볼 수 있다. 빅쿼리를 사용함에 있어 쿼리를 최적화하게 되면 비용을 줄일 수 있고 성능을 올릴 수 있기 때문에 내가 만든 테이블에 효율적으로 파티셔닝 또는 샤딩을 적용하는 것이 중요하다. 추가로 빅쿼리 문서를 보면 더 쉽게 이해할 수 있을 것 같다.https://docs.cloud.google.com/bigquery/docs/partitioned-tables?hl=ko 파티션을 나눈 테이블 소개 | BigQuery | Google Cloud DocumentationBigQuery의 파티션을 나눈 ..

• format_list_bulleted Google Cloud/BigQuery
• · 2026. 1. 7.
• textsms

2025년 회고

입사 1년 회고를 한지 얼마 되지 않았기 때문에 2025년 회고는 짧게 적어보려고 한다. 1년이 지나고 지금까지 중요한 하나의 이벤트가 있었다.바로 이직을 하게 되어 지금 다니는 회사를 퇴사하게 된 것이다. 이번 달 19일을 마지막으로 출근을 하게 되었는데 퇴사하기까지의 과정이 정말 쉽지 않았던 것 같다. 올해 9월, 입사 후 1년이 지나고 여전히 많은 고민과 함께 이직을 하기 위한 준비를 계속해서 해왔던 것 같다. 그러던 중 11월 중순 CTO 면담을 하게 되었다. 분기별 한 번은 꼭 해야하는 면담이었기 때문에 하고싶지 않았지만 필수로 해야했기에 면담을 신청해서 하게 되었다. 정말 하고 싶은 얘기도 없었고 무슨 얘기를 해야하나 고민을 하면서 면담을 가게 되었다. 10층 카페에서 면담을 진행했는데 그 당..

• format_list_bulleted 제이로그/회고
• · 2025. 12. 21.
• textsms

111퍼센트 최종 면접 후기

정말 결과가 다른 회사와는 다르게 너무 빠르게 나와서 놀랐다!분명 지난 주 금요일에 면접을 봤는데 바로 다음 주 월요일에 바로 연락이 왔다. 결과는 두둔..! 합격..! 나는 진짜 떨어질 줄 알았는데... 합격이라니... 다행이다 진짜..ㅎㅎ 그래서 나는 바로 오늘 111퍼센트 최종 면접을 보게 되었다. 이상하게도 1차 면접보다 왜 최종 면접이 더 떨리는건지 진짜... 알다가도 모르겠다...뭐랄까... 내가 성향이나 내가 추구하는 바를 말하는 게 아직 어색하기도 하고 무서운 것 같다. 마치 내가 추구하는 바와 다르면 어떻게 하지? 하는 무서움도 있고 안 맞으면 어떻게 하지? 하는 걱정도 많이 되었던 것 같다. 하지만 이번에 많이 느꼈기 때문에 결국 회사도 나를 판단하는 거지만 나도 회사를 판단하는 것이기..

• format_list_bulleted 제이로그/면접후기
• · 2025. 12. 4.
• textsms

111퍼센트 1차 면접 후기

일주일 전 111퍼센트라는 회사에 이력서를 넣었고 이번 주에 서류 합격 연락을 받게 되었다. 정말 잊고 있다가 갑자기 온 전화에 당황해서 스피커폰으로 전화를 받고 화상 전화를 잘못 누르기도 했지만 그래도 오랜만에 받은 합격 소식이라서 기분이 좋았다.올해 신사옥을 지어서 이사한 것으로 알고 있었는데 신사옥으로 면접을 보러가게 되었다. 111퍼센트는 랜덤 다이스라는 게임을 재미있게 했었어서 잘 알고 있는 회사였고 요즘에 광고에 많이 보이는 운빨존많겜이라는 게임을 만든 회사였다. 그리고 알고보니 여러 계열사와 자회사를 통해서도 여러 게임을 많이 만들고 있는 것 같았다. 게임 회사는 처음이다보니 어떻게 일을 하는지 궁금하기도 했고 신사옥이라고 해서 얼마나 좋을지 궁금했다.그렇게 면접날 당일이 되고 긴장되고 배가..

• format_list_bulleted 제이로그/면접후기
• · 2025. 11. 28.
• textsms