| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- jvm
- helm
- Kafka
- java
- grafana
- Network
- log
- Vision
- tcp
- ip
- EC2
- Packet
- kubectl
- JavaScript
- Spring
- zookeeper
- kubernetes
- airflow
- aws s3
- CSV
- Operating System
- PostgreSQL
- Python
- AWS
- Trino
- kubeadm
- OS
- MAC address
- CVAT
- docker
- Today
- Total
목록Dashboard (3)
JUST WRITE
따릉이 대여소 정보 Dashboard 구성(5) - Parquet 형식으로 Data 변환
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 따릉이 대여소 Data를 AWS Service와 Grafana를 이용하여 Dashboard까지 구성해보았다. 따릉이 대여소 Data를 정재한 다음 CSV로 만들었다. Parquet 형식으로 하면 성능면에서 개선이 될 수 있을 거 같아 시도해보았다. Parquet 형식으로 Data 정제 따릉이 대여소 정보와 실시간 대여 정보를 Python Code로 정제하여 CSV 파일로 만들었다. Python fastparquet package를 활용하여 CSV가 아닌 Parquet으로 결과물을 만들었다. # (기존) CSV 파일 생성 impart pandas as pd file_name = 'seoul_rentbike_info_{}.csv'...
따릉이 대여소 정보 Dashboard 구성(4) - Grafana로 Dashboard 구성
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS S3에 있던 따릉이 대여소 정보가 담긴 CSV Data를 Redshift Table에 적재하였다. Redshift Table의 Data를 토대로 Grafana Dashboard를 구성해보았다. Grafana 설치 서울시 공공데이터에서 따릉이 대여소 정보를 정제하고 AWS S3에 업로드를 Python Process로 진행했다. AWS EC2에서 Python Process를 진행했었는데 같은 EC2에 Grafana를 설치하였다. yum command로 Grafana 설치하였다. 먼저, yum.repos.d 내 grafana repository를 추가하였다. sudo vi /etc/yum.repos.d/grafana.repo # g..
What is Grafana?
What is Grafana Grafana는 OpenSource로 분석 및 시각화 Web Application이다. 수많은 DataSource에서 Data를 수집할 수 있습니다. 쉬운 분석을 위한 Dashboard를 구성하는 최적화된 Tool-kit입니다. Time-series Databas(TSDB)를 시각화는데도 최적화되어 있다. 특징 Visualization Grafana는 Data를 쉽게 이해할 수 있게 다양한 시각화 기능을 제공합니다. Panel은 Grafana에서 가장 기본적인 시각화 Block입니다. Panel은 Mapping 된 Datasource에서 Query 한 Data를 기준으로 보여줍니다. Data를 바탕으로 gauge, histogram, bar chart 등 다양한 Graph로 ..