제이로그
close
프로필 배경
프로필 로고

제이로그

  • 분류 전체보기 (77)
    • 제이로그 (12)
      • 회고 (4)
      • 생각정리 (2)
      • 면접후기 (6)
    • 데이터 엔지니어링 (14)
      • 개념정리 (1)
      • Airflow (7)
      • Spark (0)
      • Kafka (3)
      • dbt (3)
    • 데이터 분석 (3)
      • Redash (2)
      • Grafana (0)
      • Superset (1)
    • 프로그래밍 (11)
      • 개발 환경 (4)
      • Python (3)
      • FastAPI (4)
    • 데이터베이스 (3)
      • PostgreSQL (3)
    • Google Cloud (2)
      • BigQuery (2)
    • 인프라 (3)
      • 리눅스 (3)
    • DevOps (5)
      • Docker (2)
      • Kubernetes (3)
    • AI (16)
      • 개념정리 (2)
      • Tools (0)
      • RAG (14)
    • 버전관리 (2)
      • Github (2)
    • 협업툴 (2)
      • Slack (1)
      • Notion (1)
    • 알고리즘 (3)
      • 개념정리 (0)
      • 백준 (0)
      • 프로그래머스 (3)
    • 블로그 (1)
  • 홈
  • 방명록
  • 태그
  • Github
  • Linkedin

BigQuery 파티셔닝(Partitioning) 과 샤딩(Sharding) 비교하기

빅쿼리를 사용하다보면 데이터 조회를 최적화하기 위해서 여러가지 설정을 하게 되는데 그 분 파티셔닝과 샤딩을 많이 사용하게 된다.파티셔닝과 샤딩 모두 대용량 테이블을 보다 효율적으로 다루기 위한 방법이라고 볼 수 있다. 빅쿼리를 사용함에 있어 쿼리를 최적화하게 되면 비용을 줄일 수 있고 성능을 올릴 수 있기 때문에 내가 만든 테이블에 효율적으로 파티셔닝 또는 샤딩을 적용하는 것이 중요하다. 추가로 빅쿼리 문서를 보면 더 쉽게 이해할 수 있을 것 같다.https://docs.cloud.google.com/bigquery/docs/partitioned-tables?hl=ko 파티션을 나눈 테이블 소개 | BigQuery | Google Cloud DocumentationBigQuery의 파티션을 나눈 ..

  • format_list_bulleted Google Cloud/BigQuery
  • · 2026. 1. 7.
  • textsms
BigQuery 테이블에 날짜 및 시간 데이터를 저장할 때 유의할 점

BigQuery 테이블에 날짜 및 시간 데이터를 저장할 때 유의할 점

BigQuery 에서 시간을 저장하려는데 데이터 타입이 이상하다.BigQuery 에 테이블을 생성해서 데이터를 저장하는 과정에서 테이블 스키마를 정의하지 않으면 빅쿼리 자체적으로 컬럼 타입을 파싱해서 데이터를 저장하게 된다. 이러한 경우 내가 원하지 않는 컬럼 타입으로 저장되기 때문에 스키마를 정의해주어야 할 필요를 느끼게 되었다. 내가 겪은 경험으로는 Python 을 사용해서 Postgresql 에 있는 데이터를 가져와 빅쿼리에 데이터를 저장하려고 하는데 시간과 관련된 테이블을 저장하는 과정에서 내가 원하는지 않는 데이터 타입으로 파싱되어 테이블이 생성되는 것을 보게 되었다. 예를 들어, Postgresql 에서 생성일시와 수정일시를 가져와서 빅쿼리에 저장하려고 하는데 DATETIME 으로 저장되거나 ..

  • format_list_bulleted Google Cloud/BigQuery
  • · 2025. 6. 28.
  • textsms
  • navigate_before
  • 1
  • navigate_next
전체 카테고리
  • 분류 전체보기 (77)
    • 제이로그 (12)
      • 회고 (4)
      • 생각정리 (2)
      • 면접후기 (6)
    • 데이터 엔지니어링 (14)
      • 개념정리 (1)
      • Airflow (7)
      • Spark (0)
      • Kafka (3)
      • dbt (3)
    • 데이터 분석 (3)
      • Redash (2)
      • Grafana (0)
      • Superset (1)
    • 프로그래밍 (11)
      • 개발 환경 (4)
      • Python (3)
      • FastAPI (4)
    • 데이터베이스 (3)
      • PostgreSQL (3)
    • Google Cloud (2)
      • BigQuery (2)
    • 인프라 (3)
      • 리눅스 (3)
    • DevOps (5)
      • Docker (2)
      • Kubernetes (3)
    • AI (16)
      • 개념정리 (2)
      • Tools (0)
      • RAG (14)
    • 버전관리 (2)
      • Github (2)
    • 협업툴 (2)
      • Slack (1)
      • Notion (1)
    • 알고리즘 (3)
      • 개념정리 (0)
      • 백준 (0)
      • 프로그래머스 (3)
    • 블로그 (1)
공지사항
최근 글
인기 글
최근 댓글
전체 방문자
오늘
어제
전체
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바