JUST WRITE

여기만 사용해! Github Action을 통해서 자동 배포 Workflow을 구성해보려고 합니다. 아래 step들로 workflow를 구성하려 합니다. 특정 조건일 때 Github Action Workflow 시작 docker image build Container Repository에 push 특정 Namespace에 Deployment에 새로운 build 한 image로 교체/재시작 사내에 구축된 Kubernetes Cluster에 배포까지 자동화 Workflow을 구성해보려고 합니다. 구성하기 앞서 특정 Namespace에 접근할 수 있는 ServiceAccount 생성이 필요하였습니다. 보통 Kubernetes Cluster 구축 시 생성한 관리자용 config로 접근을 합니다. $ mkdir ..

k8s 날 거부하지 마 Kubernetes Cluster를 운영하고 있습니다. Kubernetes Cluster에서 몇 가지 확인할 사항이 있어 kubectl command를 날렸습니다. 그런데 아래와 같은 Error가 나오면서 kubectl command가 되지 않았습니다. $ kubectl get ns Unable to connect to the server: x509: certificate has expired or is not yet valid: current time 2023-10-17T15:40:55+09:00 is after 2023-10-17T04:15:30Z 처음 겪어보는 일이라 너무 당황하였습니다. Log를 다시 살펴보니 인증서가 만료됐다는 것을 확인할 수 있었습니다. 이번 포스팅에서는..

명령어 한 번에 Kubernetes 설치하기(2) 이전 포스팅에서 Terraform을 통해서 AWS EC2에 Kubernetes Cluster를 구성하였습니다. 명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치 명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간 developnote-blog.tistory.com 다만 Terraform으로 구성 후 추가적인 작업이 필요하였습니다. hostname 설정 /etc/hosts 세팅 - Master Node, Worker Node P..

뭐야?! No Space left on device?! Airflow를 Kubernetes Cluster에 Helm으로 구성하여 운영하고 있습니다. Airflow Backend Database로는 PostgreSQL을 사용하고 있습니다. Product 단계에서는 외부에 구축된 PostgreSQL을 연결해 사용해야 합니다. 하지만 내부 사정으로 Helm에 포함된 PostgreSQL을 사용하고 있습니다. Airflow Helm Chart.lock 파일을 보면 Bitnami에서 제공하는 PostgreSQL을 사용합니다. dependencies: - name: postgresql repository: https://charts.bitnami.com/bitnami version: 12.10.0 digest: sh..

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..

Pod 주기적으로 삭제하기 Kubernetes Cluster에 CVAT을 Helm으로 설치하여 운영하고 있습니다. Kubernetes에 CVAT 설치하기 - Helm으로 CVAT 설치 Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 developnote-blog.tistory.com CVAT을 사용하다 보니 설치한 namespace에 많은 수 Pod이 생성되어 있었습니다. STATUS가 Completed 상태의 Pod이 많이 남아 있었습니다. Completed는 Pod내 Contai..