JUST WRITE

AWS EC2 Kubernetes Cluster 설치(2) Kubeadm - Master,Worker 설정

Kubeadm - Master, Worker 설정 Kubernetes Cluster 모든 Node에 containerd 설치가 완료하고 나면 이제 Kubeadm 설치하고 Kubeadm을 통해 Kubernetes Master, Worker 설정을 하겠다. Kubeadm 설치 모든 Node에 Kubeadm과 필요한 패키지를 설치한다. 설치가 필요한 패키지는 아래와 같다. Kubeadm : Kubernetes Cluster를 Bootstrap Kubelet : Node내 Pod의 Container를 각종 작업을 수행 Kubectl : Kubernetes Cluster를 control 할 수 있는 command interface 위 패키지를 설치하기 위해 Kubernetes apt Repository를 추가한다..
MLOps/Kubernetes 2022. 12. 1. 00:12
AWS EC2 Kubernetes Cluster 설치(1) Kubeadm - containerd 설치

AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서는 AWS EC2 인스턴스 4개에 Kubernetes Cluster를 구성해보았다. 각 인스턴스는 Ubuntu Sever 22.04에 t3.large로 구성하였다. 1개의 Master와 3개의 Worker로 구성하였다. Kubernetes Cluster를 구성하는 방법은 여러 가지가 있지만 Kubeadm으로 구성하였다. Kubernetes Cluster 구성에 첫번째인 containerd 설치에 대해 정리하였다. 준비 containerd 설치 전에 몇가지 설정을 하였다. hostname 설정 swap off Kernel Module 추가 hostname 설정 Kubernetes node의 hostname을 설정을 해 주는 것이 좋다. n..
MLOps/Kubernetes 2022. 11. 29. 23:58
AWS EC2 Nifi 설치

AWS EC2 Nifi 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Nifi Cluster 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.large로 구성하였다. Nifi 설치에 앞서 각 EC2 인스턴스 필요한 부분을 구성하였다. Java 설치 Nifi는 Java로 개발되어 JDK 설치가 필요하다. OpenJDK 11 버전을 각 EC2 인스턴스에 설치하였다. $ wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz $ tar xzf openjdk-11.0.2_linux-x64_bin.tar.gz $ vi ~/.bash_profile export JAVA_HOME=$HOME/jd..
Data 2022. 11. 23. 23:56
What is Nifi

What is Nifi Open Source로 Data flow를 관리할 수 있는 Tool이다. Nifi는 Niagra Files의 준말로 NSA(National Security Agency)에서 개발하였다. Top-level Apache Project로 Hortonworks에서 지원하고 있다. Bigdata platform에서 분석 시 다양한 Datasource에서 데이터 통합 및 처리가 필요하다. ERP, CRM, 파일, Application, IoT 등 다양한 소스에서 데이터 처리가 필요하다. 다양한 소스에서 나오는 Bigdata를 분산 환경에서 처리할 수 있게 도와주는 강력한 Tool이다. 특징 Web UI에서 Data Flow를 수정할 수 있고 Monitoring 가능 Data 유실없이 Data..
Data 2022. 11. 21. 23:32
AWS EC2 Kafka 설치

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..
MLOps/Kafka 2022. 11. 13. 21:50
What is MinIO?

What is MinIO MinIO는 분산 Object Storage이다. Open Source로 Private Cloud에 적합한 S3 성격의 Storage이다. Go 언어로 개발되었으며 Docker Image도 1억건 이상 pull한 유명한 Storage이다. 사진, 비디오, Log 등 비정형화된 데이터 저장에 적합하다. 특징 S3 API 호환 Erasure Coding을 통한 보안성 강화 Kubernetes 환경에서 설치 가능 Horizontal and Vertical scaling MinIO Console이라는 Web UI 제공 High availability(고가용성) MinIO 설치 MinIO Server 설치 Standalone 환경에서 설치를 진행하였다. MinIO User를 먼저 생성합니..
Data 2022. 10. 20. 14:11
Prev 1 ··· 10 11 12 13 14 15 16 ··· 35 Next