JUST WRITE

Kafka 재시작 후 UNKNOWN_TOPIC_ID 에러?! 최근에 Kafka Cluster를 여러 개를 구축하는 업무를 맡아서 하고 있었습니다. 각 Cluster를 3개의 Server에 Kafka를 설치하여 구성하고 있었습니다. 1개의 Cluster 중 1개의 Server가 재시작하여서 Kafka도 재시작하는 경우가 있었습니다. (포스팅 주제가 다르니 Server 재시작 원인은 다루지 않겠습니다.) Kafka를 재시작하고 Log를 살펴보니 아래와 같은 경고메시지가 눈에 띄었습니다. $ tail -5000f ./kafka/logs/server.log ... ... [2023-06-09 00:00:47,698] WARN [ReplicaFetcher replicaId=1, leaderId=3, fetcher..

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..

Kafka는 아래와 같은 구성 요소를 가진다. Records Topics Consumers Producers Brokers Logs Partitions Clusters Kafka가 어떻게 동작하는지와 구성요소들이 어떤 역할을 하는지 대략적으로 정리해보려 한다. Topics, Producers, Consumers Kafka의 주요한 역할은 Data를 받아서 전달하는 역할이다. 그 역할을 Topics, Producers, Consumers에서 한다. Producer -> publish 하는 Topic에 Data를 전달 Topic -> Log라는 구조로 디스크에 Data를 저장 Consumer -> Topic에 쌓인 Data를 읽어서 처리 Topic Partition, Consumer Group Topic에 ..