카프카(kafka) 기본 개념 이해하기 (replication, partition, segment)

해당 내용은 '실전 카프카 개발부터 운영까지' 책을 통해 공부하고 정리한 내용입니다. 리플리케이션 (replication)카프카에서 리플리케이션이란 각 메시지들을 여러 개로 복제해서 브로커들에게 분산시키는 동작을 말한다.이러한 리플리케이션 덕분에 하나의 브로커에 문제가 발생하더라도 다른 브로커를 통해서 처리가 가능하기 때문에 안정성을 유지할 수 있다. 카프카에서 토픽을 생성하는 명령어에서 --replication-factor 3 이라는 옵션이 있는데 이 옵션은 카프카 내에서 몇개의 리플리케이션을 생성하겠다는 의미이다. 예를 들어, replication-factor 가 1 이면 리플리케이션이 1개 있다는 뜻이고 3이면 3개가 있다는 뜻이다. 만약 3개의 브로커를 생성해서 TEST 라는 토픽을 3개의 리플리..

• format_list_bulleted 데이터 엔지니어링/Kafka
• · 2025. 2. 15.
• textsms

Docker 기반 카프카(Kafka) 실습 환경 구성하기

docker 기반의 카프카 실습 환경을 만들어보려고 한다.개인적으로 실습할 경우 클라우스 컴퓨팅 서비스를 사용하지 않는 이상 개인 PC 에서 컴퓨터 리소스가 매우 부족하기 때문에 Docker 를 사용해서 카프카를 간단하게 사용할 수 있는 실습 환경을 만들어보려고 한다. 준비사항먼저 준비사항으로는 Docker 가 설치되어있어야 한다. 그리고 docker compose 2 버전 이상이 설치가 되어있어야 한다.나는 다음과 같은 버전으로 docker 와 docker compose 가 설치되어있다.# docker version$ docker -vDocker version 27.4.0, build bde2b89# docker compose version$ docker compose versionDocker Comp..

• format_list_bulleted 데이터 엔지니어링/Kafka
• · 2025. 2. 11.
• textsms

카프카(Kafka) 기본 구성

해당 내용은 '실전 카프카 개발부터 운영까지' 책을 통해 공부하고 정리한 내용입니다. 카프카는 데이터를 받아서 전달하는 데이터 버스 역할을 한다.카프카에 데이터(메시지) 를 만들어서 주는 쪽을 프로듀서(Producer) 라고 부르며, 카프카에서 데이터(메시지)를 빼내서 소비하는 쪽을 컨슈머(Consumer) 라고 부른다. 그리고 주키퍼는 카프카의 정상 동작을 보장하기 위해 메타데이터를 관리하는 코디네이터라고 할 수 있다.  프로듀서 (Producer)데이터(메시지) 를 만들어서 주는 쪽컨슈머 (Consumer)데이터(메시지) 를 받아서 소비하는 쪽쥬키퍼 (Zookeeper)정상동작을 보장하기 위해 메타데이터를 관리하는 코디네이터 프로듀서는 메시지를 카프카로 전송하는 역할을 하고 메시지를 어떻게 보내느냐에..

• format_list_bulleted 데이터 엔지니어링/Kafka
• · 2025. 2. 10.
• textsms