목록AWS (29)

JUST WRITE

Ansible를 통한 Kafka 설치

Ansible를 통한 Kafka 설치 Kafka는 Cluster로 구성되기 때문에 Server마다 같은 작업을 반복해야 한다. Infra 자동화 구성 Tool인 Ansible을 통해 편하게 설치하는 작업을 해보려 한다. Ansible은 laC(Infrastructure as Code) 개념이 도입된 Tool로 Code를 통해 Infra 세팅을 도와준다. AWS EC2 3개의 Instance를 세팅하여 Kafka Cluster를 구성해보았다. Ansible 설치 먼저 첫번째 Server에 Ansible을 설치하였다. Ansible은 python기반이라 pip를 통해 설치가 가능하다. Ansible 버전별 필요한 python 버전은 아래 표에 정리하였다. Ansible Version Required Pyth..
MLOps/Kafka 2022. 12. 18. 22:01
AWS EC2 Kubernetes Cluster 설치(2) Kubeadm - Master,Worker 설정

Kubeadm - Master, Worker 설정 Kubernetes Cluster 모든 Node에 containerd 설치가 완료하고 나면 이제 Kubeadm 설치하고 Kubeadm을 통해 Kubernetes Master, Worker 설정을 하겠다. Kubeadm 설치 모든 Node에 Kubeadm과 필요한 패키지를 설치한다. 설치가 필요한 패키지는 아래와 같다. Kubeadm : Kubernetes Cluster를 Bootstrap Kubelet : Node내 Pod의 Container를 각종 작업을 수행 Kubectl : Kubernetes Cluster를 control 할 수 있는 command interface 위 패키지를 설치하기 위해 Kubernetes apt Repository를 추가한다..
MLOps/Kubernetes 2022. 12. 1. 00:12
AWS EC2 Kubernetes Cluster 설치(1) Kubeadm - containerd 설치

AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서는 AWS EC2 인스턴스 4개에 Kubernetes Cluster를 구성해보았다. 각 인스턴스는 Ubuntu Sever 22.04에 t3.large로 구성하였다. 1개의 Master와 3개의 Worker로 구성하였다. Kubernetes Cluster를 구성하는 방법은 여러 가지가 있지만 Kubeadm으로 구성하였다. Kubernetes Cluster 구성에 첫번째인 containerd 설치에 대해 정리하였다. 준비 containerd 설치 전에 몇가지 설정을 하였다. hostname 설정 swap off Kernel Module 추가 hostname 설정 Kubernetes node의 hostname을 설정을 해 주는 것이 좋다. n..
MLOps/Kubernetes 2022. 11. 29. 23:58
AWS EC2 Nifi 설치

AWS EC2 Nifi 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Nifi Cluster 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.large로 구성하였다. Nifi 설치에 앞서 각 EC2 인스턴스 필요한 부분을 구성하였다. Java 설치 Nifi는 Java로 개발되어 JDK 설치가 필요하다. OpenJDK 11 버전을 각 EC2 인스턴스에 설치하였다. $ wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz $ tar xzf openjdk-11.0.2_linux-x64_bin.tar.gz $ vi ~/.bash_profile export JAVA_HOME=$HOME/jd..
Data 2022. 11. 23. 23:56
따릉이 대여소 정보 Dashboard 구성(4) - Grafana로 Dashboard 구성

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS S3에 있던 따릉이 대여소 정보가 담긴 CSV Data를 Redshift Table에 적재하였다. Redshift Table의 Data를 토대로 Grafana Dashboard를 구성해보았다. Grafana 설치 서울시 공공데이터에서 따릉이 대여소 정보를 정제하고 AWS S3에 업로드를 Python Process로 진행했다. AWS EC2에서 Python Process를 진행했었는데 같은 EC2에 Grafana를 설치하였다. yum command로 Grafana 설치하였다. 먼저, yum.repos.d 내 grafana repository를 추가하였다. sudo vi /etc/yum.repos.d/grafana.repo # g..
Cloud 2022. 2. 23. 19:06
What is AWS Lambda?

What is AWS Lambda? AWS Lambda는 Event 기반, Serverless Computing Service입니다. 개발자는 설치, 관리 필요 없이 Lambda로 실행할 코드만 있으면 된다. Lambda는 필요시에만 코드를 실행한다. Lambda API를 통해 호출하거나, 다른 AWS Service의 Event에 의해 실행된다. 개념 Function Function은 Lambda를 실행하기 위해 호출하는 Resource입니다. 호출 Event를 Function에게 전달하여 처리합니다. Event를 처리하고 Response를 반환합니다. Runtime Runtime은 다양한 Language별로 실행할 수 있는 환경을 제공한다. Lambda와 함수 간에 Event, Context 정보 및 ..
Cloud 2022. 2. 18. 20:56
Prev 1 2 3 4 5 Next