JUST WRITE

뭐야?! No Space left on device?! Airflow를 Kubernetes Cluster에 Helm으로 구성하여 운영하고 있습니다. Airflow Backend Database로는 PostgreSQL을 사용하고 있습니다. Product 단계에서는 외부에 구축된 PostgreSQL을 연결해 사용해야 합니다. 하지만 내부 사정으로 Helm에 포함된 PostgreSQL을 사용하고 있습니다. Airflow Helm Chart.lock 파일을 보면 Bitnami에서 제공하는 PostgreSQL을 사용합니다. dependencies: - name: postgresql repository: https://charts.bitnami.com/bitnami version: 12.10.0 digest: sh..

Helm도 git처럼 diff가 가능하다고?! 요즘 Kubernetes Cluster를 통해 시스템 구성을 많이 하고 있습니다. Kubernetes 개념과 사용법이 복잡하지만 명령어를 통해 쉽게 관리할 수 있게 하는 Tool이 있습니다. 바로 Helm입니다. Helm을 통해 Kubernets에 Package를 쉽게 배포/관리할 수 있습니다. Helm으로 Package를 배포하면 values.yaml에 있는 값들을 수정하고 배포합니다. upgrade command로 수정한 것을 재배포 가능합니다. $ helm upgrade ... 다만 여러 번 수정을 하다 보면 설정값들이 관리가 안될 수 있습니다. 저도 이런 문제를 겪어서 반영한 히스토리를 알 수 없을까? 차이를 알 수 없을까? 고민하였습니다. 그러다가 ..

Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양한 곳에서, 큰 데이터를 한번에 조회해야 되서 어려워졌습니다. 다양한 곳의 빅데이터를 한 곳에서 조회할 수 있는 무언가가 필요해졌습니다. 그렇게 생겨난것이 분산 Query Engine입니다. 대표적인 분산 쿼리 엔진은 아래와 같습니다. Spark Thrift Server Apache Impala Apache Drill Presto Trino 요즘 가장 핫한 쿼리 엔진인 Trino를 직접 설치해 보고 사용해보려 합니다. 총 3개의 포스팅으로 나눠서 진행해보려고 합니다. Trino 설치 Hive Met..

Kubernetes환경에서 Airflow를?!?! 요즘 가장 핫한 Workflow Tool은 Airflow입니다. python으로 개발되어서 설치도 PyPl로 간편하게 설치할 수 있습니다. 하지만 디테일하게 사용하려면 Metastore, Celery Worker 등 설정할게 많습니다. 이러던 중 Kubernetes에 Airflow를 설치해야 될 업무를 맡게 되었습니다. 이번 포스팅에서는 Airflow를 Kubernetes 환경에 설치하는 것을 정리해 보았습니다. Helm으로 Airflow 설치 Airflow에서 공식 Helm을 제공해 주기 때문에 해당 Helm으로 설치를 진행하였습니다. 다른 버전인 User-community Helm도 존재하니 참고해 주시길 바랍니다. Airflow Helm Chart를..

손쉽게 동적으로 Persistent Volume 생성하기 Docker container에서 데이터를 저장할 때 Volume을 사용합니다. container는 독립적인 환경이라 container가 사라지면 데이터도 사라집니다. 하지만 Volume을 사용하면 Host Device에 mount 하여 container가 없어져도 Volume 데이터는 유지됩니다. Kubernetes에서도 Pod내 Container에서 사용한 데이터를 Volume으로 지정해 유지할 수 있습니다. Pod이 사라지더라도 Volume을 설정해서 데이터를 유지할 수 있습니다. 기본적으로 아래 2가지 Volume Type이 있습니다. Kubernetes Volumes EmptyDir 가장 기본적인 Volume Type으로 비어있는 상태로 ..

ArgoCD UI 헷갈리지 않고 쉽게 접근하기 Kubernetes내 Service를 외부에서 접근하도록 설정하는 가장 쉬운 방식은 NodePort 방법입니다. Service Port를 Control Plane의 Port에 포트포워딩을 통해 접근하게 해주는 방식입니다. service-nodeport-range(default: 30000~32767)내에서 Control Plane의 Port로 포트포워딩이 가능합니다. apiVersion: v1 kind: Service metadata: name: my-service spec: type: NodePort selector: app.kubernetes.io/name: MyApp ports: - port: 80 targetPort: 80 nodePort: 30007..