따릉이 대여소 정보 Dashboard 구성(0) - 시작

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다.

AWS Cloud를 공부하면서 이론만 공부하기보다는 실습이 중요하다는 생각이 들었다.

서울 공공데이터를 활용하여 AWS 주요 Service를 활용하여 간단한 Dashboard를 구성해보았다.

서울 공공데이터 중 공공자전거인 따릉이 대여소 정보를 보여주는 Dashboard를 구성하기로 하였다.

아래 2가지 정보를 수집하였다.

• 서울특별시 공공자전거 대여소 정보
  • 21년 12월 기준 정보, csv 파일로 제공
  • 관련 링크   
• 서울특별시 공공자전거 실시간 대여 정보
  • OpenAPI로 제공
  • 관련 링크

공공자전거 실시간 대여 정보를 일별로 수집하여 대여소 정보와 통합하고 정제하였다.

정제한 데이터를 csv 파일로 생성하여 Amazon S3에 업로드한다.

데이터 통합/정제, Amazon S3 업로드하는 작업을 Python으로 진행하기로 결정하였다.

Amazon S3에 저장된 csv 파일을 Amazon Redshift 테이블에 적재를 한다.

해당 테이블 데이터를 기반으로 EC2에 기동 중인 Grafana에서 Dashboard를 구성한다.

1. 공공자전거(따릉이) 대여소/대여 정보 통합, 정제
2. 데이터 csv 파일 Amazon S3에 Upload
3. Amazon S3 csv 파일을 Amazon Redshift 테이블 적재
4. Amazon Redshift 데이터를 Grafana로 Dashboard 구성

위와 같은 순서로 해당 프로젝트를 진행하면서 Blog에 정리해보려 한다.