제이로그
close
프로필 배경
프로필 로고

제이로그

  • 분류 전체보기 (77)
    • 제이로그 (12)
      • 회고 (4)
      • 생각정리 (2)
      • 면접후기 (6)
    • 데이터 엔지니어링 (14)
      • 개념정리 (1)
      • Airflow (7)
      • Spark (0)
      • Kafka (3)
      • dbt (3)
    • 데이터 분석 (3)
      • Redash (2)
      • Grafana (0)
      • Superset (1)
    • 프로그래밍 (11)
      • 개발 환경 (4)
      • Python (3)
      • FastAPI (4)
    • 데이터베이스 (3)
      • PostgreSQL (3)
    • Google Cloud (2)
      • BigQuery (2)
    • 인프라 (3)
      • 리눅스 (3)
    • DevOps (5)
      • Docker (2)
      • Kubernetes (3)
    • AI (16)
      • 개념정리 (2)
      • Tools (0)
      • RAG (14)
    • 버전관리 (2)
      • Github (2)
    • 협업툴 (2)
      • Slack (1)
      • Notion (1)
    • 알고리즘 (3)
      • 개념정리 (0)
      • 백준 (0)
      • 프로그래머스 (3)
    • 블로그 (1)
  • 홈
  • 방명록
  • 태그
  • Github
  • Linkedin
BigQuery 테이블에 날짜 및 시간 데이터를 저장할 때 유의할 점

BigQuery 테이블에 날짜 및 시간 데이터를 저장할 때 유의할 점

BigQuery 에서 시간을 저장하려는데 데이터 타입이 이상하다.BigQuery 에 테이블을 생성해서 데이터를 저장하는 과정에서 테이블 스키마를 정의하지 않으면 빅쿼리 자체적으로 컬럼 타입을 파싱해서 데이터를 저장하게 된다. 이러한 경우 내가 원하지 않는 컬럼 타입으로 저장되기 때문에 스키마를 정의해주어야 할 필요를 느끼게 되었다. 내가 겪은 경험으로는 Python 을 사용해서 Postgresql 에 있는 데이터를 가져와 빅쿼리에 데이터를 저장하려고 하는데 시간과 관련된 테이블을 저장하는 과정에서 내가 원하는지 않는 데이터 타입으로 파싱되어 테이블이 생성되는 것을 보게 되었다. 예를 들어, Postgresql 에서 생성일시와 수정일시를 가져와서 빅쿼리에 저장하려고 하는데 DATETIME 으로 저장되거나 ..

  • format_list_bulleted Google Cloud/BigQuery
  • · 2025. 6. 28.
  • textsms
  • navigate_before
  • 1
  • navigate_next
전체 카테고리
  • 분류 전체보기 (77)
    • 제이로그 (12)
      • 회고 (4)
      • 생각정리 (2)
      • 면접후기 (6)
    • 데이터 엔지니어링 (14)
      • 개념정리 (1)
      • Airflow (7)
      • Spark (0)
      • Kafka (3)
      • dbt (3)
    • 데이터 분석 (3)
      • Redash (2)
      • Grafana (0)
      • Superset (1)
    • 프로그래밍 (11)
      • 개발 환경 (4)
      • Python (3)
      • FastAPI (4)
    • 데이터베이스 (3)
      • PostgreSQL (3)
    • Google Cloud (2)
      • BigQuery (2)
    • 인프라 (3)
      • 리눅스 (3)
    • DevOps (5)
      • Docker (2)
      • Kubernetes (3)
    • AI (16)
      • 개념정리 (2)
      • Tools (0)
      • RAG (14)
    • 버전관리 (2)
      • Github (2)
    • 협업툴 (2)
      • Slack (1)
      • Notion (1)
    • 알고리즘 (3)
      • 개념정리 (0)
      • 백준 (0)
      • 프로그래머스 (3)
    • 블로그 (1)
공지사항
최근 글
인기 글
최근 댓글
전체 방문자
오늘
어제
전체
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바