카프카(kafka) 기본 개념 이해하기 (replication, partition, segment)

해당 내용은 '실전 카프카 개발부터 운영까지' 책을 통해 공부하고 정리한 내용입니다. 리플리케이션 (replication)카프카에서 리플리케이션이란 각 메시지들을 여러 개로 복제해서 브로커들에게 분산시키는 동작을 말한다.이러한 리플리케이션 덕분에 하나의 브로커에 문제가 발생하더라도 다른 브로커를 통해서 처리가 가능하기 때문에 안정성을 유지할 수 있다. 카프카에서 토픽을 생성하는 명령어에서 --replication-factor 3 이라는 옵션이 있는데 이 옵션은 카프카 내에서 몇개의 리플리케이션을 생성하겠다는 의미이다. 예를 들어, replication-factor 가 1 이면 리플리케이션이 1개 있다는 뜻이고 3이면 3개가 있다는 뜻이다. 만약 3개의 브로커를 생성해서 TEST 라는 토픽을 3개의 리플리..