JUST WRITE

PV 얼마나 남았나?!?! 요즘 시스템 Monitoring을 할 때 Prometheus와 Grafana 조합을 많이 사용합니다. Prometheus에서 Monitoring이 필요한 metric정보를 저장하고, Grafana에서 Prometheus Metric을 보기 좋게 Dashboard로 제공합니다. Kubernetes Cluster 환경에서도 Prometheus와 Grafana를 구축할 수 있습니다. 각각 Helm Chart를 제공합니다. Prometheus Helm Grafana Helm 저도 근무지에서 Kubernetes 환경에서 Prometheus와 Grafana를 구축해서 사용 중에 있습니다. 문득 Prometheus가 데이터를 얼마나 저장하는지 궁금하였습니다. Prometheus는 metri..

Kafka야?!! 데이터 잘 처리하고 있니?! 실시간 데이터 처리를 위해 Kafka를 운영하고 있습니다. Kafka 모니터링을 위해 주로 Prometheus, Grafana를 통해서 합니다. Kafka Exporter로 Metric을 수집, Prometheus로 보내고 Grafana에서 Dashboard를 구성해서 모니터링합니다. 보통 Topic별로 들어오는 데이터의 Bytes양, Topic의 Consumer의 Lag 등을 모니터링합니다. 이 방법 말고 Kafka가 데이터를 잘 처리하고 있는지 알 수 있는 방법이 이거밖에 없는지 궁금하였습니다. 그러다가 찾은 방법이 있었습니다. Kafka 자체적으로 Performance를 테스트할 수 있는 방법이 있었습니다. 이번 포스팅에서 자체적으로 Kafka를 테스트..

What is Grafana Grafana는 OpenSource로 분석 및 시각화 Web Application이다. 수많은 DataSource에서 Data를 수집할 수 있습니다. 쉬운 분석을 위한 Dashboard를 구성하는 최적화된 Tool-kit입니다. Time-series Databas(TSDB)를 시각화는데도 최적화되어 있다. 특징 Visualization Grafana는 Data를 쉽게 이해할 수 있게 다양한 시각화 기능을 제공합니다. Panel은 Grafana에서 가장 기본적인 시각화 Block입니다. Panel은 Mapping 된 Datasource에서 Query 한 Data를 기준으로 보여줍니다. Data를 바탕으로 gauge, histogram, bar chart 등 다양한 Graph로 ..