JUST WRITE

명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간편하게 할 수 있는 방법이 없을까 고민하다가 Terraform을 알게 되었습니다. Terraform을 활용하여 간편하게 Kubernetes Cluster를 구성하는 것을 정리해보려 합니다. (Terraform이 아닌 AWS EC2 다수의 인스턴스로 Kubernetes를 구성하는 것은 아래 포스팅 참조) AWS EC2 Kubernetes Cluster 설치(1) Kubeadm - containerd 설치 AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서..

Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀 developnote-blog.tistory.com 해당 포스팅에서는 CVAT을 Docker Compose로 구축하였습니다. CVAT이 Docker Image를 제공해 주기 때문에 쉽게 Docker Compose로 설치가 가능하였습니다. 요즘 container 환경은 ..

AWS EC2 GPU를 사용하려면?! 딥러닝 작업은 단순사칙연산을 수행합니다. 단순사칙연산 작업은 CPU보다는 GPU에 작업 시 효율적으로 동작합니다. GPU 서버에서 GPU를 활용해서 딥러닝 작업을 하려면 추가적인 조치가 필요합니다. 해당 조치중에 Nvidia Driver를 설치하여 GPU를 활용할 수 있도록 하는 방안이 있습니다. GPU를 지원하는 AWS EC2에서 Nvidia Driver 설치 과정을 정리하였습니다. EC2 인스턴스 시작 AWS EC2중에서 GPU를 지원하는 인스턴스 유형이 있습니다. 해당 링크에서 인스턴스 유형을 확인할 수 있습니다. P3 인스턴스는 Nvidia Tesla V100 GPU 사용 P4 인스턴스는 Nvidia Tesla A100 GPU 사용 G3 인스턴스는 Nvidia..

CMAK 설치 Kafka Cluster를 구축하고 나서 Kafka Broker를 컨트롤하려면 기본적으로 command로 컨트롤합니다. Kafka Bin 폴더 아래에 다양한 script를 제공해 줍니다. $ ll ~/kafka/bin -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-distributed.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-mirror-maker.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-standalone.sh -rwxr-xr-x 1 kafka kafka 861 Dec 21 21:14 kafka-acls.sh -rwxr-xr-x 1 k..

특정 Node에 Pod 스케줄링 Kubernetes에 Python으로 짠 Process를 여러 개 구동할 업무가 주어졌습니다. 해당 Process는 법인별로 1~3개씩 구동해야되서 다수의 Process를 구동해야 했습니다. Kubernetes Cluster에서 자체적으로 Node의 상태에 맞게 Pod을 Node에 배치하게 됩니다. 이번 Python Process가 법인 상황에 따라 많은 Resource를 차지할 수 있는 상황이었습니다. 그래서 해당 Process의 Pod이 Node들에 적절하게 분배될 수 있도록 구성해 보았습니다. affinity를 이용한 스케줄링 첫 번째 시도한 방식은 affinity를 이용한 방식이었습니다. affinity는 사전적 의미로 선호도라고 합니다. Label를 통해서 선호도..

Kubernetes Cluster에 Worker Node 추가 현재 Private Cloud 환경에서 Kubernetes Cluster를 구성하는 프로젝트를 진행하고 있다. 높은 사양으로 제공받다 보니 고려할 부분이 많았다. 한 Server에 Disk가 40개 정도 되니 관리 편하기 위해 RAID 구성을 요청하였는데, 여기서 문제가 생겨서 해당 Server를 Kubernetes Worker Node로 넣었다가 잠시 제거하였다. (어떤 문제였는지는 아래 포스팅에서 확인 가능!) RAID Disk 구성 - Spare Disk RAID Disk 구성 현재 Private Cloud 환경에서 Kubernete Cluster를 구성하는 프로젝트를 진행하고 있다. 제공받은 Server(AWS EC2와 같은)의 구성이..