JUST WRITE

따릉이 대여소 정보 Dashboard 구성(3) - Redshift Table Data 적재

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 공공데이터에서 따릉이 대여소 정보를 정제하여 CSV 파일로 만들었다. 만든 CSV 파일을 EC2 환경에서 Python Process를 통해 자동으로 AWS S3에 Upload 하였다. AWS S3에 Object(CSV 파일)을 AWS Lambda를 이용해서 AWS Redshift Table에 적재하려 한다. AWS Lambda Function 생성 S3 Bucket에 있는 CSV 파일을 Redshift Table에 적재하기 위해서 AWS Lambda를 이용하였다. S3 Bucket에 새로운 Object가 Upload 할 때 해당 Object를 Redshift Table에 적재하도록 하였다. S3 Object 관련된 블루프린트를 ..
Cloud 2022. 2. 19. 17:18
What is AWS Lambda?

What is AWS Lambda? AWS Lambda는 Event 기반, Serverless Computing Service입니다. 개발자는 설치, 관리 필요 없이 Lambda로 실행할 코드만 있으면 된다. Lambda는 필요시에만 코드를 실행한다. Lambda API를 통해 호출하거나, 다른 AWS Service의 Event에 의해 실행된다. 개념 Function Function은 Lambda를 실행하기 위해 호출하는 Resource입니다. 호출 Event를 Function에게 전달하여 처리합니다. Event를 처리하고 Response를 반환합니다. Runtime Runtime은 다양한 Language별로 실행할 수 있는 환경을 제공한다. Lambda와 함수 간에 Event, Context 정보 및 ..
Cloud 2022. 2. 18. 20:56
What is Redshift?

What is Redshift? AWS Redshift는 Amazon Web Service중에 Data Warehousing을 지원하는 솔루션이다. 페타바이트(10^15bytes)급의 대용량 데이터를 처리할수 있다. 큰 Scale의 Data를 Migration할 수 있다. AWS Interface를 통해 손쉽게 새 Cluster를 구성할 수 있다. 특징 OLAP 형태의 Column 기반 Database PostgreSQL(Version 8.0.2) 기반 -> SQL Query 사용 가능 MPP(Massively Parallel Processing)를 통한 Fast Querying 제공 다수의 Computing 노드가 병렬로 작동하여 Query 처리 각 노드는 할당된 Data에 대해서 동일한 Query 처..
Cloud 2022. 2. 15. 18:48
따릉이 대여소 정보 Dashboard 구성(2) - AWS S3 파일 업로드

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 공공데이터에서 따릉이 대여소 정보를 정제하여 CSV 파일로 만들었다. 이번 글에서는 CSV 파일을 AWS S3에 업로드하는 작업을 정리해보려 한다. Python Code로 CSV 파일을 AWS S3에 업로드하였다. AWS IAM 사용자 추가 Amazon S3 작업을 진행하기 전에 S3에 접근 가능한 IAM 사용자를 추가해줘야 한다. AWS IAM에서 사용자 추가를 한다. 적절한 사용자 이름을 지정해준 다음 AWS 자격 증명 유형을 액세스 키 방식으로 한다. Python으로 S3에 접근하기 위해서이다. 다음은 권한 선택 부분이다. 기존 정책 직접 연결 방식으로 해서 기존에 있는 AmazonS3FullAccess 정책을 선택해준다...
Cloud 2022. 2. 15. 13:33
HashTable

이 글은 책 알고리즘 도감에서 HashTable 부분을 정리한 글입니다. HashTable HashTable은 Key와 Value가 한 쌍을 이뤄서 Data를 저장하는 자료구조입니다. 일반적으로 Key는 Data 식별자이며, Value는 Data의 내용입니다. Hash 함수와 함께 Data 검색을 효율적으로 사용되는 구조입니다. HashTable은 내부적으로 배열을 사용하여 Data를 저장합니다. Key값에 대한 Hash 함수를 적용해서 Index 값을 생성합니다. 생성한 Index에 해당 Key에 대한 Value값을 배열에 저장합니다. Hash 함수 Hash 함수는 주어진 Data를 고정 길이의 불규칙한 숫자로 변환하는 함수이다. 불규칙한 숫자는 Data를 요약한 것으로 Hash 값이라 한다. Hash..
Programing/Algorithm 2022. 2. 14. 21:01
따릉이 대여소 정보 Dashboard 구성(1) - Python으로 데이터 정제

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하기 위해 따릉이 대여서 정보 Dashboard 구성 프로젝트를 진행하였다. 위 그림에서 빨간색 부분인 Data 정제 부분을 먼저 진행하였다. 서울 공공데이터에서 2가지 데이터를 가져와서 통합 및 정제를 진행하였다. 서울특별시 공공자전거 대여소 정보(21년 12월 기준) -> csv 파일 서울특별시 공공자전거 실시간 대여 정보 -> OpenAPI로 제공 실시간 대여 정보에는 아래와 같은 정보가 존재한다. 출력명 출력설명 rackTotCnt 거치대 개수 stationName 대여소 이름 parkingBikeTotCnt 자전거 주차 총 건수 shared 거치율 stationLatitude 위도 stationLong..
Cloud 2022. 2. 14. 16:48
Prev 1 ··· 16 17 18 19 20 21 22 ··· 35 Next