dbt 를 간단하게 사용해 본 후기

데이터 가공과 처리를 어떻게 하면 더 빠르고 쉽게 할 수 있을까? 해서 찾아본 게 바로 dbt 였다.그래서 dbt 에 대해서 열심히 찾아보고 설치해서 사용해보고 했는데 결국에는 사용하기 어려운 환경이라는 것을 느끼게 되었던 것 같다. 그럼 왜 dbt 를 사용하지 않았는지 사용하면서 어떤 부분에서 어려움을 느끼게 되었는지 적어보려고 한다.1. 관리가 많이 복잡했다.dbt_project.yml 파일을 통해 프로젝트에 대한 설정을 하고 profiles.yml 파일을 통해 내가 접속해서 사용하고자 하는 데이터베이스에 대한 접속 정보들을 적어주었다. 그런데 추가로 schame 를 관리한다거나 source 를 관리한다거나 하는 과정에서 어디에 적어주어야 하는게 맞는건지 헷갈렸다. 누구는 dbt_project.yml..

• format_list_bulleted 데이터 엔지니어링/dbt
• · 2025. 9. 21.
• textsms

dbt 설치하고 사용해보기

dbt 를 직접 설치해보고 사용하는 과정을 적어보려고 한다. dbt 를 설치하는 과정에서 아래의 문서를 참고했다. Quickstart for dbt Core from a manual install | dbt Developer HubConnecting your warehouse to dbt Core using the CLI.docs.getdbt.com 1. dbt python 패키지 설치하기먼저, dbt 를 설치해야하는데 파이썬 패키지를 통해서 설치해야 한다.그리고 나는 postgres 를 사용할 것이기 때문에 어댑터도 같이 설치해준다.pip install dbt-core dbt-postgres 설치가 완료되면 dbt 버전을 확인한다.$ dbt --version Core..

• format_list_bulleted 데이터 엔지니어링/dbt
• · 2025. 9. 12.
• textsms

dbt 에 대해서 알아보기

요즘 데이터 파이프라인을 구축하는 과정에서 dbt 라는 것에 대해서 관심을 가지게 되었다.예전에 당근에 면접을 보기 위해서 어떤 업무를 하는지 알아보다가 dbt 를 사용한다는 것을 알게 되었는데 무엇인지 알아보고 정리해보려고 한다. Deliver trusted data with dbt | dbt Labsdbt Labs empowers data teams to build reliable, governed data pipelines—accelerating analytics and AI initiatives with speed and confidence.www.getdbt.com dbt 가 뭐지?dbt(Data Build Tool) 는 SQL 을 기반으로 데이터 변환, 모델링, 테스트, 문서화를 자동화하여 ..

• format_list_bulleted 데이터 엔지니어링/dbt
• · 2025. 9. 12.
• textsms

힘든 시기를 견뎌낸 그 후 그리고 현재

지난 해 9월 이직을 하게 되었고 벌써 1년이라는 시간이 흘렀다.전 직장에서 임금 체불로 인해 9개월 동안 힘든 시간을 견뎌내면서 계속해서 취업 준비를 했었고 그 결과 얻어낸 자리였다. 사실, 입사를 하기 전까지도 쉽지 않았던 것 같다. 회사에서 사람들과 어울리기 힘들 것 같다는 이유로 불합격이 될 뻔한 상황에서 다행히 입사할 수 있게 되었고 나의 힘들었던 임금체불의 시간은 힘겹게 정리가 되어가고 있었다. 물론 입사를 하고나서도 한 달이란 시간동안 임금체불이 끝나지 않았기 때문에 10월에 밀린 모든 급여를 다 받을 수 있었다. 어떻게보면 그 순간 이미 다 끝난 이야기인데... 아직까지도 나에게는 힘든 순간이었나보다. 그 때의 나는 생활비가 거의 바닥난 상태에서 나는 그저 취업하는 것 밖에는 없었다. 어떤..

• format_list_bulleted 제이로그/회고
• · 2025. 9. 8.
• textsms

MacOS 환경에서 kind 설치하기

MacOS 에 kind 를 설치해보려고 한다. 설치하는 방법은 아래의 kind 문서에 나와있는 내용을 따라해보려고 한다. kind – Quick StartQuick Start This guide covers getting started with the kind command. If you are having problems please see the known issues guide. NOTE: kind does not require kubectl, but you will not be able to perform some of the examples in our docs without it. To instkind.sigs.k8s.io kind 를 설치하는 방법에는 3가지 방법이 있다.Release Bin..

• format_list_bulleted DevOps/Kubernetes
• · 2025. 8. 31.
• textsms

PCCP 기출문제 2번 - 석유 시추 (Python3)

프로그래머스에서 제공해주는 코딩테스트 연습문제를 풀고 정리한 글입니다.문제 출처 : 코딩테스트 > 연습PCCP > 기출문제[PCCP 기출문제] 2번 / 석유 시추 문제 설명세로 길이가 n 이고 가로 길이가 m 인 격자 모양의 땅 속에서 석유가 발견되었다고 한다.이 때, 석유 시추관을 하나 꽂았을 때 가장 많은 석유량을 캐낼 수 있는 곳은 어디인지 출력하는 문제다. 글로만 이해하기 어렵기 때문에 문제에서 그림을 통해 설명하고 있다. 위의 그림과 같이 세로로 석유 시추관을 설치할 경우 어디에 설치해야 석유가 많이 나오는지에 대해서 묻는 문제라고 보면 된다. 여기서 한 가지 유의해야할 점은 참고 이미지 2번에서 보이는 것과 같이 7번에 석유 시추관을 설치하게 되면 2개의 석유 덩어리에서 석유를 추출할 수 있는..

• format_list_bulleted 알고리즘/프로그래머스
• · 2025. 8. 31.
• textsms

PCCP 기출문제 1번 - 동영상 재생기 (Python3)

프로그래머스에서 제공해주는 코딩테스트 연습문제를 풀고 정리한 글입니다.문제 출처 : 코딩테스트 > 연습PCCP > 기출문제[PCCP 기출문제] 1번 / 동영상 재생기 문제 설명이 문제는 간단하게 문제에서 정의한 조건에 맞게 구현하는 문제였다. 문제에서 정의한 조건은 아래와 같다.동영상 위치는 "mm:ss" 으로 분과 초로 구분된다."prev" 명령을 입력할 경우현재 위치에서 10초 이전으로 이동한다.동영상을 실행한지 10초 미만이라면 0초로 이동한다.만약, 이동한 시간이 오프닝 구간이라면 오픈닝이 끝나는 시간으로 이동한다."next" 명령을 입력할 경우현재 위치에서 10초 이후로 이동한다.남은 시간이 10초 미만이라면 동영상 마지막 위치로 이동한다.만약, 이동한 시간이 오프닝 구간이라면 오픈닝이 끝나는 ..

• format_list_bulleted 알고리즘/프로그래머스
• · 2025. 8. 25.
• textsms

Python 문자열 앞의 빈 자리를 0으로 채우는 방법

Python 에서 "04" 와 같은 시간을 표기해야하거나 앞자리가 0으로 시작하는 문자열을 만들어야한다고 할 때어떻게 앞자리를 0으로 채울 수 있을까? Python 에서는 여러가지 방법을 통해 문자열 길이만큼 비어있는 문자를 0 으로 채울 수 있다. 다음과 같이 num 이라는 숫자가 있다고 가정한다.num = 421문자열 메서드 zfill() 사용>>> str(num).zfill(5)'00421'f-string 포맷 사용>>> f"{num:05}"'00421'format() 함수 사용>>> format(num, '05')'00421'

• format_list_bulleted 프로그래밍/Python
• · 2025. 8. 25.
• textsms

카카오엔터테인먼트 서류 합격 후 코딩 테스트 후기 (+푸념)

올해 중순부터인가 이직을 준비하기 위해서 이력서도 정리하고 채용 공고가 올라올 때마다 계속해서 이력서를 냈다.요즘 채용시장이 정말 어렵다고 하던데 채용 공고가 올라오는 회사만 지우고 다시 올리고 반복이어서 같은 회사만 보였는데 최근에 여러 군데에서 채용 공고가 올라와 열심히 이력서를 냈던 것 같다. 사실 카카오엔터테인먼트 데이터 플랫폼 개발자로 지원했다는 사실을 잊고 있었는데 어느 날 갑자기 서류에 합격했다는 메일을 받게 되었다. 내가 잊고 있었던 이유는 아래에 보이는 것과 같이 지금으로부터 3주 전인 8월 9일에 제출했기 때문이다. 그렇게 지원한지 3주 후 8월 22일 서류 합격 메일을 받게 되었다.서류는 합격했지만 다음 전형이 코딩테스트였는데... 사실 나는 코딩테스트만 보면 100% 탈락했기 때문에..

• format_list_bulleted 제이로그/면접후기
• · 2025. 8. 23.
• textsms

Superset Quickstart with Docker compose

데이터 분석 플랫폼을 찾던 도중 apache superset 이라는 플랫폼을 발견하게 되어 설치해서 사용해보려고 한다. 설치하는 과정은 아래의 사이트를 참고했다. Quickstart | SupersetReady to try Apache Superset? This quickstart guide will help yousuperset.apache.org 나는 docker compose 를 사용해서 superset 를 사용해보려고 한다.docker compose 를 사용하는 이유는 설치하는 과정이 간단할 뿐만 아니라 관리도 간단하기 때문이다. 1. superset 소스 가져오기먼저 아래의 superset git repository 를 클론해서 로컬로 가져온다.git clone https://github.com..

• format_list_bulleted 데이터 분석/Superset
• · 2025. 8. 22.
• textsms