| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- java
- zookeeper
- kubeadm
- Spring
- Operating System
- kubernetes
- log
- PostgreSQL
- OS
- MAC address
- Python
- EC2
- Kafka
- Network
- Packet
- kubectl
- grafana
- Trino
- CSV
- helm
- jvm
- JavaScript
- tcp
- aws s3
- docker
- ip
- AWS
- Vision
- airflow
- CVAT
- Today
- Total
목록CMAK (3)
JUST WRITE
큰일 났다! Out of Sync다?!?!
큰일 났다! Out of Sync다?!?! Kafka Cluster를 운영하면 CMAK을 통해 Web에서 관리하는 경우가 많습니다. 저 역시 Kafka Cluster를 운영하면서 CMAK을 활용하고 있습니다. CMAK에서 Under Replicated가 0이 아닌 50으로 나온 경우가 발생하였습니다. Under Replicated가 0이 아니라는 것은 Topic의 Parition replicate가 설정한 대로 안된다는 것을 의미합니다. Out of Sync가 발생한 상황입니다. 실제로 Kafka 로그가 아래와 같이 발생하고 있었습니다. INFO [Partition __consumer_offsets-22 broker=3] Shrinking ISR from 1,3 to 3. Leader: (highWate..
UI로 Kafka 관리하기
CMAK 설치 Kafka Cluster를 구축하고 나서 Kafka Broker를 컨트롤하려면 기본적으로 command로 컨트롤합니다. Kafka Bin 폴더 아래에 다양한 script를 제공해 줍니다. $ ll ~/kafka/bin -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-distributed.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-mirror-maker.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-standalone.sh -rwxr-xr-x 1 kafka kafka 861 Dec 21 21:14 kafka-acls.sh -rwxr-xr-x 1 k..
AWS EC2 Kafka 설치
AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..