목록aws ec2 (4)

JUST WRITE

AWS EC2 Kafka 설치

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..
MLOps/Kafka 2022. 11. 13. 21:50
따릉이 대여소 정보 Dashboard 구성(1) - Python으로 데이터 정제

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하기 위해 따릉이 대여서 정보 Dashboard 구성 프로젝트를 진행하였다. 위 그림에서 빨간색 부분인 Data 정제 부분을 먼저 진행하였다. 서울 공공데이터에서 2가지 데이터를 가져와서 통합 및 정제를 진행하였다. 서울특별시 공공자전거 대여소 정보(21년 12월 기준) -> csv 파일 서울특별시 공공자전거 실시간 대여 정보 -> OpenAPI로 제공 실시간 대여 정보에는 아래와 같은 정보가 존재한다. 출력명 출력설명 rackTotCnt 거치대 개수 stationName 대여소 이름 parkingBikeTotCnt 자전거 주차 총 건수 shared 거치율 stationLatitude 위도 stationLong..
Cloud 2022. 2. 14. 16:48
따릉이 대여소 정보 Dashboard 구성(0) - 시작

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하면서 이론만 공부하기보다는 실습이 중요하다는 생각이 들었다. 서울 공공데이터를 활용하여 AWS 주요 Service를 활용하여 간단한 Dashboard를 구성해보았다. 서울 공공데이터 중 공공자전거인 따릉이 대여소 정보를 보여주는 Dashboard를 구성하기로 하였다. 아래 2가지 정보를 수집하였다. 서울특별시 공공자전거 대여소 정보 21년 12월 기준 정보, csv 파일로 제공 관련 링크 서울특별시 공공자전거 실시간 대여 정보 OpenAPI로 제공 관련 링크 공공자전거 실시간 대여 정보를 일별로 수집하여 대여소 정보와 통합하고 정제하였다. 정제한 데이터를 csv 파일로 생성하여 Amazon S3에 업로드한다...
Cloud 2022. 2. 13. 17:44
What is Amazon EC2?

What is Amazon EC2? Amazon Elastic Compute Cloud(Amazon EC2) AWS에서 제공하는 Cloud Computing Service이다. 필요에 따라 Web Interface나 API를 통해 몇 분 이내에 인스턴스 용량을 늘리거나 줄일 수 있다. AWS Auto Scaling을 통해서 자동으로 인스턴스를 Scale 할 수 있다. 보안 그룹을 사용해 Protocol, Port, IP 범위를 통한 방화벽 기능을 제공한다. 기능 인스턴스 가상 인터넷 환경 제공하는 Instance 유형은 CPU, Memory, Storage, Network 사양에 따라 다양하게 제공된다. m3.medium -> m에 Generation을 뜻하는 숫자, 점 뒤에 전체적인 사용 규모를 말하는..
Cloud 2022. 2. 12. 22:07
Prev 1 Next