JUST WRITE

What is Redshift? AWS Redshift는 Amazon Web Service중에 Data Warehousing을 지원하는 솔루션이다. 페타바이트(10^15bytes)급의 대용량 데이터를 처리할수 있다. 큰 Scale의 Data를 Migration할 수 있다. AWS Interface를 통해 손쉽게 새 Cluster를 구성할 수 있다. 특징 OLAP 형태의 Column 기반 Database PostgreSQL(Version 8.0.2) 기반 -> SQL Query 사용 가능 MPP(Massively Parallel Processing)를 통한 Fast Querying 제공 다수의 Computing 노드가 병렬로 작동하여 Query 처리 각 노드는 할당된 Data에 대해서 동일한 Query 처..

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 공공데이터에서 따릉이 대여소 정보를 정제하여 CSV 파일로 만들었다. 이번 글에서는 CSV 파일을 AWS S3에 업로드하는 작업을 정리해보려 한다. Python Code로 CSV 파일을 AWS S3에 업로드하였다. AWS IAM 사용자 추가 Amazon S3 작업을 진행하기 전에 S3에 접근 가능한 IAM 사용자를 추가해줘야 한다. AWS IAM에서 사용자 추가를 한다. 적절한 사용자 이름을 지정해준 다음 AWS 자격 증명 유형을 액세스 키 방식으로 한다. Python으로 S3에 접근하기 위해서이다. 다음은 권한 선택 부분이다. 기존 정책 직접 연결 방식으로 해서 기존에 있는 AmazonS3FullAccess 정책을 선택해준다...

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하면서 이론만 공부하기보다는 실습이 중요하다는 생각이 들었다. 서울 공공데이터를 활용하여 AWS 주요 Service를 활용하여 간단한 Dashboard를 구성해보았다. 서울 공공데이터 중 공공자전거인 따릉이 대여소 정보를 보여주는 Dashboard를 구성하기로 하였다. 아래 2가지 정보를 수집하였다. 서울특별시 공공자전거 대여소 정보 21년 12월 기준 정보, csv 파일로 제공 관련 링크 서울특별시 공공자전거 실시간 대여 정보 OpenAPI로 제공 관련 링크 공공자전거 실시간 대여 정보를 일별로 수집하여 대여소 정보와 통합하고 정제하였다. 정제한 데이터를 csv 파일로 생성하여 Amazon S3에 업로드한다...

What is Amazon EC2? Amazon Elastic Compute Cloud(Amazon EC2) AWS에서 제공하는 Cloud Computing Service이다. 필요에 따라 Web Interface나 API를 통해 몇 분 이내에 인스턴스 용량을 늘리거나 줄일 수 있다. AWS Auto Scaling을 통해서 자동으로 인스턴스를 Scale 할 수 있다. 보안 그룹을 사용해 Protocol, Port, IP 범위를 통한 방화벽 기능을 제공한다. 기능 인스턴스 가상 인터넷 환경 제공하는 Instance 유형은 CPU, Memory, Storage, Network 사양에 따라 다양하게 제공된다. m3.medium -> m에 Generation을 뜻하는 숫자, 점 뒤에 전체적인 사용 규모를 말하는..

What is Amazon S3? Amazon Simple Storage Service(Amazone S3)는 AWS에서 제공하는 Cloud Storage Service 입니다. 온라인 Backup 및 Data Archiving을 위한 Service이다. S3는 최소한의 특징을 가지고 개발자들이 Web-scale Computing을 쉽게할 수 있도록 만들어졌다. 특징 저장된 Object에 대한 안정성 S3 API를 통해 Data 전송 가능 AWS Security(IAM, ACL)를 통해서 Access 관리 AWS Monitoring Service(CloudTrail, CloudWatch, Macie) 등을 통해서 Monitering 제공 사례 Amazon S3 뛰어난 확장성, 가용성, 보안 및 성능으로 ..