dbt 를 간단하게 사용해 본 후기

데이터 가공과 처리를 어떻게 하면 더 빠르고 쉽게 할 수 있을까? 해서 찾아본 게 바로 dbt 였다.그래서 dbt 에 대해서 열심히 찾아보고 설치해서 사용해보고 했는데 결국에는 사용하기 어려운 환경이라는 것을 느끼게 되었던 것 같다. 그럼 왜 dbt 를 사용하지 않았는지 사용하면서 어떤 부분에서 어려움을 느끼게 되었는지 적어보려고 한다.1. 관리가 많이 복잡했다.dbt_project.yml 파일을 통해 프로젝트에 대한 설정을 하고 profiles.yml 파일을 통해 내가 접속해서 사용하고자 하는 데이터베이스에 대한 접속 정보들을 적어주었다. 그런데 추가로 schame 를 관리한다거나 source 를 관리한다거나 하는 과정에서 어디에 적어주어야 하는게 맞는건지 헷갈렸다. 누구는 dbt_project.yml..

• format_list_bulleted 데이터 엔지니어링/dbt
• · 2025. 9. 21.
• textsms

dbt 설치하고 사용해보기

dbt 를 직접 설치해보고 사용하는 과정을 적어보려고 한다. dbt 를 설치하는 과정에서 아래의 문서를 참고했다. Quickstart for dbt Core from a manual install | dbt Developer HubConnecting your warehouse to dbt Core using the CLI.docs.getdbt.com 1. dbt python 패키지 설치하기먼저, dbt 를 설치해야하는데 파이썬 패키지를 통해서 설치해야 한다.그리고 나는 postgres 를 사용할 것이기 때문에 어댑터도 같이 설치해준다.pip install dbt-core dbt-postgres 설치가 완료되면 dbt 버전을 확인한다.$ dbt --version Core..

• format_list_bulleted 데이터 엔지니어링/dbt
• · 2025. 9. 12.
• textsms

dbt 에 대해서 알아보기

요즘 데이터 파이프라인을 구축하는 과정에서 dbt 라는 것에 대해서 관심을 가지게 되었다.예전에 당근에 면접을 보기 위해서 어떤 업무를 하는지 알아보다가 dbt 를 사용한다는 것을 알게 되었는데 무엇인지 알아보고 정리해보려고 한다. Deliver trusted data with dbt | dbt Labsdbt Labs empowers data teams to build reliable, governed data pipelines—accelerating analytics and AI initiatives with speed and confidence.www.getdbt.com dbt 가 뭐지?dbt(Data Build Tool) 는 SQL 을 기반으로 데이터 변환, 모델링, 테스트, 문서화를 자동화하여 ..

• format_list_bulleted 데이터 엔지니어링/dbt
• · 2025. 9. 12.
• textsms