JUST WRITE

Kafka 재시작 후 UNKNOWN_TOPIC_ID 에러?! 최근에 Kafka Cluster를 여러 개를 구축하는 업무를 맡아서 하고 있었습니다. 각 Cluster를 3개의 Server에 Kafka를 설치하여 구성하고 있었습니다. 1개의 Cluster 중 1개의 Server가 재시작하여서 Kafka도 재시작하는 경우가 있었습니다. (포스팅 주제가 다르니 Server 재시작 원인은 다루지 않겠습니다.) Kafka를 재시작하고 Log를 살펴보니 아래와 같은 경고메시지가 눈에 띄었습니다. $ tail -5000f ./kafka/logs/server.log ... ... [2023-06-09 00:00:47,698] WARN [ReplicaFetcher replicaId=1, leaderId=3, fetcher..

Ansible를 통한 Kafka 설치 Kafka는 Cluster로 구성되기 때문에 Server마다 같은 작업을 반복해야 한다. Infra 자동화 구성 Tool인 Ansible을 통해 편하게 설치하는 작업을 해보려 한다. Ansible은 laC(Infrastructure as Code) 개념이 도입된 Tool로 Code를 통해 Infra 세팅을 도와준다. AWS EC2 3개의 Instance를 세팅하여 Kafka Cluster를 구성해보았다. Ansible 설치 먼저 첫번째 Server에 Ansible을 설치하였다. Ansible은 python기반이라 pip를 통해 설치가 가능하다. Ansible 버전별 필요한 python 버전은 아래 표에 정리하였다. Ansible Version Required Pyth..

AWS EC2 Nifi 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Nifi Cluster 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.large로 구성하였다. Nifi 설치에 앞서 각 EC2 인스턴스 필요한 부분을 구성하였다. Java 설치 Nifi는 Java로 개발되어 JDK 설치가 필요하다. OpenJDK 11 버전을 각 EC2 인스턴스에 설치하였다. $ wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz $ tar xzf openjdk-11.0.2_linux-x64_bin.tar.gz $ vi ~/.bash_profile export JAVA_HOME=$HOME/jd..

What is Nifi Open Source로 Data flow를 관리할 수 있는 Tool이다. Nifi는 Niagra Files의 준말로 NSA(National Security Agency)에서 개발하였다. Top-level Apache Project로 Hortonworks에서 지원하고 있다. Bigdata platform에서 분석 시 다양한 Datasource에서 데이터 통합 및 처리가 필요하다. ERP, CRM, 파일, Application, IoT 등 다양한 소스에서 데이터 처리가 필요하다. 다양한 소스에서 나오는 Bigdata를 분산 환경에서 처리할 수 있게 도와주는 강력한 Tool이다. 특징 Web UI에서 Data Flow를 수정할 수 있고 Monitoring 가능 Data 유실없이 Data..

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..

Topic Kafka에서 Topic은 record, data를 저장하는 곳이다. Kafka에서 data를 주고받을 때 Topic을 통해서 주고받는다. Topic 기본적으로 아래와 같은 특징을 가진다. Topic은 record를 log에 저장 record를 저장한 log는 partition으로 나눠어져 저장 가능 partition은 다수의 Server에 나눠어져 저장 가능 Topic Partitions Kafka는 Topic으로 들어온 record를 log에 저장한다. Topic의 log는 partition으로 나뉜다. 기본적으로 record의 key를 기준으로 parition에 나누어진다. record의 key는 record를 kafka에 전달한 producer가 record와 함께 전달한다. key가 ..