JUST WRITE

명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간편하게 할 수 있는 방법이 없을까 고민하다가 Terraform을 알게 되었습니다. Terraform을 활용하여 간편하게 Kubernetes Cluster를 구성하는 것을 정리해보려 합니다. (Terraform이 아닌 AWS EC2 다수의 인스턴스로 Kubernetes를 구성하는 것은 아래 포스팅 참조) AWS EC2 Kubernetes Cluster 설치(1) Kubeadm - containerd 설치 AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서..

pyenv python으로 개발을 진행하다 보면 항상 버전 문제로 골머리를 앓게 됩니다. python이 제공하는 library가 정말 다양해서 편하기도 하지만 단점도 존재합니다. 필요한 python library가 특정 python 버전까지만 지원한다든지, python library와 종속된 library끼리 compatible 한 버전을 맞춰야 하는 발생 합니다. python에서 virtual 환경을 구성, 독립된 환경에서 다른 프로젝트에 영향이 없도록 세팅할 수 있습니다. venv라는 것을 기본적으로 제공해 줍니다. venv venv venv는 특정 Path에 Virtual Environment를 제공해주는 Python Package이다. Virtual Environment덕분에 경량화되고 고립된 환..

Yolo 모델 Trian 저번 포스팅에서 Yolo 모델을 Train 하기 위한 DataSet을 준비하였습니다. CVAT을 통하여 샘플 Video에 있는 사람을 Labeling 하고 해당 Data를 COCO Data 포맷으로 변환하였습니다. 이번 포스팅에서는 준비한 DataSet으로 Yolo 모델을 Train 해보겠습니다. Train 환경 준비 Train에 필요한 환경을 준비해야 합니다. 필수는 아니지만 빠른 Train을 위해서 GPU Server를 권장합니다. 저는 AWS EC2에서 Ubuntu p2.xlarge로 GPU Server를 준비하였습니다. GPU Server 환경 구성은 아래 포스팅에 참고해 주시길 바랍니다. AWS EC2에서 GPU를 사용하려면?! AWS EC2 GPU를 사용하려면?! 딥러..

AWS EC2 GPU를 사용하려면?! 딥러닝 작업은 단순사칙연산을 수행합니다. 단순사칙연산 작업은 CPU보다는 GPU에 작업 시 효율적으로 동작합니다. GPU 서버에서 GPU를 활용해서 딥러닝 작업을 하려면 추가적인 조치가 필요합니다. 해당 조치중에 Nvidia Driver를 설치하여 GPU를 활용할 수 있도록 하는 방안이 있습니다. GPU를 지원하는 AWS EC2에서 Nvidia Driver 설치 과정을 정리하였습니다. EC2 인스턴스 시작 AWS EC2중에서 GPU를 지원하는 인스턴스 유형이 있습니다. 해당 링크에서 인스턴스 유형을 확인할 수 있습니다. P3 인스턴스는 Nvidia Tesla V100 GPU 사용 P4 인스턴스는 Nvidia Tesla A100 GPU 사용 G3 인스턴스는 Nvidia..

엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀장님에게 이번 프로젝트에서 CVAT이 활용될 수 있다는 단서를 들었습니다. 이 단서를 바탕으로 일단 부딪혀 보기로 하였습니다. CVAT으로 Train 할 Dataset을 만들고 Vision 모델 중 Yolo 모델을 Train 하는 일련을 과정에 도전해 보았습니다. 아래 3가지 Step으로 이번 도전기를 정리해보려 합니다. CVAT을 통해 Auto Labeling 후 Train Dataset 생성 해당 Dataset을 Yolo Train을 할 수 있게 변환 Dataset으로 Yolo Model Train ..

비용 절감을 위한 EC2 Scheduling AWS에서 가장 많이 사용하는 것이 EC2입니다. EC2는 기본적으로 사용하는 시간에 따라 비용을 부과합니다. 사용할 시간에만 사용하고 그 외 시간에는 중지하는 게 좋습니다. 비용 절감을 위해 EC2 인스턴스 Scheduling은 필수입니다. 이번 포스팅에서는 자동으로 EC2 인스턴스를 시작/중지할 수 있도록 Scheduling 하는 방법을 소개합니다. IAM 설정 EC2 Scheduling에서 먼저 해야할 것은 IAM 설정입니다. EC2를 시작하고 중지할 수 있는 권한을 만들어 AWS Lambda에서 EC2를 제어할 수 있게 해줘야 합니다. IAM에서 역할을 생성합니다. Lambda을 통해서 EC2를 시작/중지할 것이기 때문에 사용 사례를 Lambda로 선택..