JUST WRITE

뭐야?! No Space left on device?! Airflow를 Kubernetes Cluster에 Helm으로 구성하여 운영하고 있습니다. Airflow Backend Database로는 PostgreSQL을 사용하고 있습니다. Product 단계에서는 외부에 구축된 PostgreSQL을 연결해 사용해야 합니다. 하지만 내부 사정으로 Helm에 포함된 PostgreSQL을 사용하고 있습니다. Airflow Helm Chart.lock 파일을 보면 Bitnami에서 제공하는 PostgreSQL을 사용합니다. dependencies: - name: postgresql repository: https://charts.bitnami.com/bitnami version: 12.10.0 digest: sh..

Kubernetes환경에서 Airflow를?!?! 요즘 가장 핫한 Workflow Tool은 Airflow입니다. python으로 개발되어서 설치도 PyPl로 간편하게 설치할 수 있습니다. 하지만 디테일하게 사용하려면 Metastore, Celery Worker 등 설정할게 많습니다. 이러던 중 Kubernetes에 Airflow를 설치해야 될 업무를 맡게 되었습니다. 이번 포스팅에서는 Airflow를 Kubernetes 환경에 설치하는 것을 정리해 보았습니다. Helm으로 Airflow 설치 Airflow에서 공식 Helm을 제공해 주기 때문에 해당 Helm으로 설치를 진행하였습니다. 다른 버전인 User-community Helm도 존재하니 참고해 주시길 바랍니다. Airflow Helm Chart를..

What is Redshift? AWS Redshift는 Amazon Web Service중에 Data Warehousing을 지원하는 솔루션이다. 페타바이트(10^15bytes)급의 대용량 데이터를 처리할수 있다. 큰 Scale의 Data를 Migration할 수 있다. AWS Interface를 통해 손쉽게 새 Cluster를 구성할 수 있다. 특징 OLAP 형태의 Column 기반 Database PostgreSQL(Version 8.0.2) 기반 -> SQL Query 사용 가능 MPP(Massively Parallel Processing)를 통한 Fast Querying 제공 다수의 Computing 노드가 병렬로 작동하여 Query 처리 각 노드는 할당된 Data에 대해서 동일한 Query 처..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. 제품 Docker Image 구성하고 배포까지 완료하였다. 이제 제품 Docker Container들을 어떻게 운영하였는지 정리해보았다. 먼저 docker run 명령어에 대해서 정리해보려 한다. docker run docker container는 host에서 하나의 process에서 작동한다. container는 host와는 별개로 자신만의 file system, networking, 독립된 process tree를 가진다. docker run은 docker image를 기반으로 container를 실행시키는 명령어이다. # debian 이미지 기반 container 실행 docker run --name test..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. Docker 버전 제품 만들기 프로젝트에서 가장 먼저 한 것은 제품의 docker image를 만드는 작업이었다. 회사 제품의 구성은 아래 3가지 구성이었다. 제품 Repository Java 기반 Web Application Database 관련 데이터 수집하는 Daemon Program 차례대로 image화 작업을 진행하였다. Repository Image 만들기 Database 선정 회사 제품은 Oracle, PostgreSQL 2가지 Database를 지원하였다. 2가지 Database 중 공식적으로 docker Image를 제공하는 PostgreSQL로 결정하였다. image 분리 PostgreSQL do..