일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- ip
- MAC address
- kubernetes
- grafana
- PostgreSQL
- docker
- aws s3
- OS
- airflow
- CSV
- CVAT
- JavaScript
- AWS
- zookeeper
- Packet
- Trino
- EC2
- Kafka
- java
- Spring
- tcp
- helm
- Python
- Operating System
- Vision
- kubectl
- Network
- jvm
- log
- kubeadm
Archives
- Today
- Total
목록record (1)
JUST WRITE
데이터 언제까지 저장할꺼니?!?! - Kafka Log Retention
데이터 언제 저장할꺼니?!?! Kafka는 분산 메시지 시스템이자 Message Queue입니다. Kafka는 메시지를 받고 바로 지우지 않고 어느 정도 Broker에 저장합니다. 다양한 Consumer에서 메시지를 활용할 수도 있고 Network 문제 등 다양한 이유로 consuming에 시간이 걸리수도 있습니다. Kafka에서는 데이터 저장을 어떤식으로 관리할까요? 이번 포스팅에서는 Kafka 데이터 저장 관련 설정값을 정리해보도록 하겠습니다. Log Retention Kafka에서는 Broker에서 메시지를 받고 저장하는데, 저장한 Message를 Log라고 합니다. Broker나 Topic의 설정값에 따라서 Broker에서 Log를 어느 정도 저장할지 설정할 수 있습니다. Retention 관련 ..
MLOps/Kafka
2024. 1. 6. 21:08