JUST WRITE

어디까지 줄일 수 있니?! Kafka Cluster를 운영 업무를 맡아서 하고 있습니다. 여러 Cluster를 운영하고 있는데, 그중에서 해외 사이트에 설치된 Kafka Cluster도 있습니다. 해외사이트의 Kafka에서 국내로 Consuming해서 데이터를 처리해야 될 상황이었습니다. Network Bandwidth 때문에 아무리 Consuming 튜닝해도 데이터 전송에 제한이 있었습니다. 여러 가지 방안을 찾던 중 Message Compression을 좀 더 효과적으로 하는 방향을 고민해 보았습니다. 이번 포스팅에서는 위 이슈를 해결하기 위해 공부한 Message Compression을 정리해보려고 합니다. Kafka Compression Kafka는 실시간 데이터 처리하는 데 많이 사용되고 있습니..

Kafka 재시작 후 UNKNOWN_TOPIC_ID 에러?! 최근에 Kafka Cluster를 여러 개를 구축하는 업무를 맡아서 하고 있었습니다. 각 Cluster를 3개의 Server에 Kafka를 설치하여 구성하고 있었습니다. 1개의 Cluster 중 1개의 Server가 재시작하여서 Kafka도 재시작하는 경우가 있었습니다. (포스팅 주제가 다르니 Server 재시작 원인은 다루지 않겠습니다.) Kafka를 재시작하고 Log를 살펴보니 아래와 같은 경고메시지가 눈에 띄었습니다. $ tail -5000f ./kafka/logs/server.log ... ... [2023-06-09 00:00:47,698] WARN [ReplicaFetcher replicaId=1, leaderId=3, fetcher..

Kafka Broker Log 관리 Kafka에서는 Log를 Topic Partition에 쌓이는 Data를 의미한다. 보통 System에서 Log는 System의 상황 파악을 위해 기록하는 정보이다. Kafka에서도 Broker에서 이런 Log를 기록하고 있다. server, connect, controller, user 등 다양한 Log를 기록하고 있다. 이런 Log 설정은 conf/log4j.properties에서 확인할 수 있다. $ cat /kafka/conf/log4j.properties ... log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppender log4j.appender.kafkaAppender.DatePattern=..

Kafka는 아래와 같은 구성 요소를 가진다. Records Topics Consumers Producers Brokers Logs Partitions Clusters Kafka가 어떻게 동작하는지와 구성요소들이 어떤 역할을 하는지 대략적으로 정리해보려 한다. Topics, Producers, Consumers Kafka의 주요한 역할은 Data를 받아서 전달하는 역할이다. 그 역할을 Topics, Producers, Consumers에서 한다. Producer -> publish 하는 Topic에 Data를 전달 Topic -> Log라는 구조로 디스크에 Data를 저장 Consumer -> Topic에 쌓인 Data를 읽어서 처리 Topic Partition, Consumer Group Topic에 ..