| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- kubernetes
- log
- JavaScript
- docker
- MAC address
- kubectl
- AWS
- kubeadm
- java
- Kafka
- helm
- tcp
- Python
- PostgreSQL
- Operating System
- airflow
- Packet
- aws s3
- jvm
- Network
- OS
- grafana
- zookeeper
- CVAT
- Spring
- Vision
- EC2
- ip
- Trino
- CSV
- Today
- Total
목록따릉이 (3)
JUST WRITE
따릉이 대여소 정보 Dashboard 구성(5) - Parquet 형식으로 Data 변환
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 따릉이 대여소 Data를 AWS Service와 Grafana를 이용하여 Dashboard까지 구성해보았다. 따릉이 대여소 Data를 정재한 다음 CSV로 만들었다. Parquet 형식으로 하면 성능면에서 개선이 될 수 있을 거 같아 시도해보았다. Parquet 형식으로 Data 정제 따릉이 대여소 정보와 실시간 대여 정보를 Python Code로 정제하여 CSV 파일로 만들었다. Python fastparquet package를 활용하여 CSV가 아닌 Parquet으로 결과물을 만들었다. # (기존) CSV 파일 생성 impart pandas as pd file_name = 'seoul_rentbike_info_{}.csv'...
따릉이 대여소 정보 Dashboard 구성(1) - Python으로 데이터 정제
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하기 위해 따릉이 대여서 정보 Dashboard 구성 프로젝트를 진행하였다. 위 그림에서 빨간색 부분인 Data 정제 부분을 먼저 진행하였다. 서울 공공데이터에서 2가지 데이터를 가져와서 통합 및 정제를 진행하였다. 서울특별시 공공자전거 대여소 정보(21년 12월 기준) -> csv 파일 서울특별시 공공자전거 실시간 대여 정보 -> OpenAPI로 제공 실시간 대여 정보에는 아래와 같은 정보가 존재한다. 출력명 출력설명 rackTotCnt 거치대 개수 stationName 대여소 이름 parkingBikeTotCnt 자전거 주차 총 건수 shared 거치율 stationLatitude 위도 stationLong..
따릉이 대여소 정보 Dashboard 구성(0) - 시작
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하면서 이론만 공부하기보다는 실습이 중요하다는 생각이 들었다. 서울 공공데이터를 활용하여 AWS 주요 Service를 활용하여 간단한 Dashboard를 구성해보았다. 서울 공공데이터 중 공공자전거인 따릉이 대여소 정보를 보여주는 Dashboard를 구성하기로 하였다. 아래 2가지 정보를 수집하였다. 서울특별시 공공자전거 대여소 정보 21년 12월 기준 정보, csv 파일로 제공 관련 링크 서울특별시 공공자전거 실시간 대여 정보 OpenAPI로 제공 관련 링크 공공자전거 실시간 대여 정보를 일별로 수집하여 대여소 정보와 통합하고 정제하였다. 정제한 데이터를 csv 파일로 생성하여 Amazon S3에 업로드한다...