CDC (Change Data Capture) 에 대해서

데이터 파이프라인을 설계하거나 데이터 처리를 할 때 CDC 라는 용어를 많이 듣게 되는데 변경된 데이터를 캡쳐해서 사용한다고 알고 있지만 보다 자세하게 알아보고 정리해보려고 한다. CDC (Change Data Capture) 가 뭐지?CDC 는 말 그대로 변경된 데이터를 캡쳐하는 기술을 말한다. 조금 더 전문적으로 정리해보면, 변경된 데이터를 추적하고 이를 기반으로 동작을 취할 수 있도록 데이터를 결정하고 추적하기 위해서 사용되는 여러 소프트웨어 디자인 패턴들의 모임이라고 할 수 있다. 일반적으로 이러한 의미로 사용되지만 어떤 플랫폼을 사용하는지에 따라 개념이 달라질 수 있다. 내가 느끼기에는 데이터가 많아지고 실시간 데이터 처리에 대한 수요가 많아지게 되면서 Apache Spark, Kafka 와 같..