JUST WRITE

어디까지 줄일 수 있니?! Kafka Cluster를 운영 업무를 맡아서 하고 있습니다. 여러 Cluster를 운영하고 있는데, 그중에서 해외 사이트에 설치된 Kafka Cluster도 있습니다. 해외사이트의 Kafka에서 국내로 Consuming해서 데이터를 처리해야 될 상황이었습니다. Network Bandwidth 때문에 아무리 Consuming 튜닝해도 데이터 전송에 제한이 있었습니다. 여러 가지 방안을 찾던 중 Message Compression을 좀 더 효과적으로 하는 방향을 고민해 보았습니다. 이번 포스팅에서는 위 이슈를 해결하기 위해 공부한 Message Compression을 정리해보려고 합니다. Kafka Compression Kafka는 실시간 데이터 처리하는 데 많이 사용되고 있습니..