JUST WRITE

Talos로 Kubernetes 설치회사에서 솔루션을 개발하게 되었습니다.개발하기 앞서 필요한 여러 가지 서비스를 설치해야 했습니다.MySQL, Clickhouse, Minio와 같은 스토리지와 외부 서비스를 구축해야 하였습니다.처음에는 docker-compose로 관리했지만 서비스가 많아지면서 관리가 너무 힘들었습니다.Kubernetes를 도입하고 싶었지만 클라우드 k8s 도입 비용이 없었고 GPU 서버 1대만 있는 상황이었습니다.그러던 중 Talos Linux를 발견했습니다.What is Talos?Talos는 Kubernetes 전용으로 설계된 Container 전용 OS입니다.세가지 특징이 있습니다.Container 전용 OS - SSH도 없고 shell도 없습니다. 다만 talosctl를 통해 ..

명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간편하게 할 수 있는 방법이 없을까 고민하다가 Terraform을 알게 되었습니다. Terraform을 활용하여 간편하게 Kubernetes Cluster를 구성하는 것을 정리해보려 합니다. (Terraform이 아닌 AWS EC2 다수의 인스턴스로 Kubernetes를 구성하는 것은 아래 포스팅 참조) AWS EC2 Kubernetes Cluster 설치(1) Kubeadm - containerd 설치 AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서..

Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀 developnote-blog.tistory.com 해당 포스팅에서는 CVAT을 Docker Compose로 구축하였습니다. CVAT이 Docker Image를 제공해 주기 때문에 쉽게 Docker Compose로 설치가 가능하였습니다. 요즘 container 환경은 ..

1. Why this paper? 데이터 거버넌스 관리 솔루션 개발자로 첫 커리어를 시작했습니다. 데이터를 다루다보니 자연스럽게 데이터에 깊은 관심을 가지게 되었고 데이터 엔지니어로 꿈을 꾸게 되었고 이직까지 하게 되었습니다. 이직 후 처음 접하게 된 MLOps는 엄청나게 크고 낯설게 큰 산 같았습니다. 팀장님의 소개로 알게 된 이 논문이 저에게 큰 도움이 되었습니다. 이번 포스팅을 통해 다시 한번 복기해 보며 MLOps에 대해 정리해보려 합니다. 2. Summary 해당 논문에서는 MLOps의 정의부터 Architecture까지 전반적인 부분에 대해 정리해주고 있습니다. MLOps의 정의 MLOps와 관련된 종사자들의 역할 MLOps Architecture MLOps와 관련된 Tool 소개 MLOps에..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. Docker Compose Compose는 다수의 Container를 정의하고 실행시킬 수 있는 Tool이다. YAML 파일을 통해 한 번의 command로 다수의 Container를 실행할 수 있다.Compose command로 아래 사항을 Manage 할 수 있다. Container 시작, 중지, Rebuild 실행 중인 Container 상태 실행 중인 Container Log Container에 명령 수행 Docker Compose의 자세한 사항은 따로 정리하겠다. 제품 Docker Compose 구성 docker-compose.yml version: '3.2' services: repo: image: po..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. 제품 Docker Image 구성하고 배포까지 완료하였다. 이제 제품 Docker Container들을 어떻게 운영하였는지 정리해보았다. 먼저 docker run 명령어에 대해서 정리해보려 한다. docker run docker container는 host에서 하나의 process에서 작동한다. container는 host와는 별개로 자신만의 file system, networking, 독립된 process tree를 가진다. docker run은 docker image를 기반으로 container를 실행시키는 명령어이다. # debian 이미지 기반 container 실행 docker run --name test..