JUST WRITE

PV 얼마나 남았나?!?! 요즘 시스템 Monitoring을 할 때 Prometheus와 Grafana 조합을 많이 사용합니다. Prometheus에서 Monitoring이 필요한 metric정보를 저장하고, Grafana에서 Prometheus Metric을 보기 좋게 Dashboard로 제공합니다. Kubernetes Cluster 환경에서도 Prometheus와 Grafana를 구축할 수 있습니다. 각각 Helm Chart를 제공합니다. Prometheus Helm Grafana Helm 저도 근무지에서 Kubernetes 환경에서 Prometheus와 Grafana를 구축해서 사용 중에 있습니다. 문득 Prometheus가 데이터를 얼마나 저장하는지 궁금하였습니다. Prometheus는 metri..

Kafka야?!! 데이터 잘 처리하고 있니?! 실시간 데이터 처리를 위해 Kafka를 운영하고 있습니다. Kafka 모니터링을 위해 주로 Prometheus, Grafana를 통해서 합니다. Kafka Exporter로 Metric을 수집, Prometheus로 보내고 Grafana에서 Dashboard를 구성해서 모니터링합니다. 보통 Topic별로 들어오는 데이터의 Bytes양, Topic의 Consumer의 Lag 등을 모니터링합니다. 이 방법 말고 Kafka가 데이터를 잘 처리하고 있는지 알 수 있는 방법이 이거밖에 없는지 궁금하였습니다. 그러다가 찾은 방법이 있었습니다. Kafka 자체적으로 Performance를 테스트할 수 있는 방법이 있었습니다. 이번 포스팅에서 자체적으로 Kafka를 테스트..

Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀 developnote-blog.tistory.com 해당 포스팅에서는 CVAT을 Docker Compose로 구축하였습니다. CVAT이 Docker Image를 제공해 주기 때문에 쉽게 Docker Compose로 설치가 가능하였습니다. 요즘 container 환경은 ..

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS S3에 있던 따릉이 대여소 정보가 담긴 CSV Data를 Redshift Table에 적재하였다. Redshift Table의 Data를 토대로 Grafana Dashboard를 구성해보았다. Grafana 설치 서울시 공공데이터에서 따릉이 대여소 정보를 정제하고 AWS S3에 업로드를 Python Process로 진행했다. AWS EC2에서 Python Process를 진행했었는데 같은 EC2에 Grafana를 설치하였다. yum command로 Grafana 설치하였다. 먼저, yum.repos.d 내 grafana repository를 추가하였다. sudo vi /etc/yum.repos.d/grafana.repo # g..

What is Grafana Grafana는 OpenSource로 분석 및 시각화 Web Application이다. 수많은 DataSource에서 Data를 수집할 수 있습니다. 쉬운 분석을 위한 Dashboard를 구성하는 최적화된 Tool-kit입니다. Time-series Databas(TSDB)를 시각화는데도 최적화되어 있다. 특징 Visualization Grafana는 Data를 쉽게 이해할 수 있게 다양한 시각화 기능을 제공합니다. Panel은 Grafana에서 가장 기본적인 시각화 Block입니다. Panel은 Mapping 된 Datasource에서 Query 한 Data를 기준으로 보여줍니다. Data를 바탕으로 gauge, histogram, bar chart 등 다양한 Graph로 ..

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하면서 이론만 공부하기보다는 실습이 중요하다는 생각이 들었다. 서울 공공데이터를 활용하여 AWS 주요 Service를 활용하여 간단한 Dashboard를 구성해보았다. 서울 공공데이터 중 공공자전거인 따릉이 대여소 정보를 보여주는 Dashboard를 구성하기로 하였다. 아래 2가지 정보를 수집하였다. 서울특별시 공공자전거 대여소 정보 21년 12월 기준 정보, csv 파일로 제공 관련 링크 서울특별시 공공자전거 실시간 대여 정보 OpenAPI로 제공 관련 링크 공공자전거 실시간 대여 정보를 일별로 수집하여 대여소 정보와 통합하고 정제하였다. 정제한 데이터를 csv 파일로 생성하여 Amazon S3에 업로드한다...