JUST WRITE

Consumer야 살았니?! 죽었니?! Kafka Cluster를 운영하면서 다양한 상황에 직면하게 됩니다. 그중에서 가장 많은 경우가 Producer나 Consumer가 제대로 동작하지 않고 shutdown 되는 경우입니다. 이번에 다른 팀에서 Consumer를 처음 세팅하면서 조언을 구하는 경우가 있었습니다. Consumer가 자꾸 shutdown된다는 거였습니다. 전달받은 log를 살펴보면 Heartbeat Thread closed. 위 문구를 발견할 수 있었습니다. 몇가지 Consumer 세팅값 변경을 권유해 주었습니다. 이후 저는 위 문구에 있는 Heartbeat Thread에 대해 궁금증이 생겼습니다. Kafka Cluster에서 데이터(Lag)를 가져오려면 Consumer Client를 통해..

Topic Kafka에서 Topic은 record, data를 저장하는 곳이다. Kafka에서 data를 주고받을 때 Topic을 통해서 주고받는다. Topic 기본적으로 아래와 같은 특징을 가진다. Topic은 record를 log에 저장 record를 저장한 log는 partition으로 나눠어져 저장 가능 partition은 다수의 Server에 나눠어져 저장 가능 Topic Partitions Kafka는 Topic으로 들어온 record를 log에 저장한다. Topic의 log는 partition으로 나뉜다. 기본적으로 record의 key를 기준으로 parition에 나누어진다. record의 key는 record를 kafka에 전달한 producer가 record와 함께 전달한다. key가 ..

Kafka는 아래와 같은 구성 요소를 가진다. Records Topics Consumers Producers Brokers Logs Partitions Clusters Kafka가 어떻게 동작하는지와 구성요소들이 어떤 역할을 하는지 대략적으로 정리해보려 한다. Topics, Producers, Consumers Kafka의 주요한 역할은 Data를 받아서 전달하는 역할이다. 그 역할을 Topics, Producers, Consumers에서 한다. Producer -> publish 하는 Topic에 Data를 전달 Topic -> Log라는 구조로 디스크에 Data를 저장 Consumer -> Topic에 쌓인 Data를 읽어서 처리 Topic Partition, Consumer Group Topic에 ..