일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- docker
- aws s3
- Vision
- grafana
- OS
- kubeadm
- airflow
- jvm
- CSV
- java
- log
- AWS
- Trino
- Operating System
- helm
- kubectl
- kubernetes
- tcp
- JavaScript
- Python
- EC2
- CVAT
- Network
- MAC address
- Spring
- Packet
- Kafka
- zookeeper
- ip
- PostgreSQL
Archives
- Today
- Total
목록Heartbeats (1)
JUST WRITE
Consumer야 살았니?! 죽었니?! - Kafka Consumer Heartbeats
Consumer야 살았니?! 죽었니?! Kafka Cluster를 운영하면서 다양한 상황에 직면하게 됩니다. 그중에서 가장 많은 경우가 Producer나 Consumer가 제대로 동작하지 않고 shutdown 되는 경우입니다. 이번에 다른 팀에서 Consumer를 처음 세팅하면서 조언을 구하는 경우가 있었습니다. Consumer가 자꾸 shutdown된다는 거였습니다. 전달받은 log를 살펴보면 Heartbeat Thread closed. 위 문구를 발견할 수 있었습니다. 몇가지 Consumer 세팅값 변경을 권유해 주었습니다. 이후 저는 위 문구에 있는 Heartbeat Thread에 대해 궁금증이 생겼습니다. Kafka Cluster에서 데이터(Lag)를 가져오려면 Consumer Client를 통해..
MLOps/Kafka
2023. 11. 27. 21:46