JUST WRITE

Kubernetes환경에서 Airflow를?!?! 요즘 가장 핫한 Workflow Tool은 Airflow입니다. python으로 개발되어서 설치도 PyPl로 간편하게 설치할 수 있습니다. 하지만 디테일하게 사용하려면 Metastore, Celery Worker 등 설정할게 많습니다. 이러던 중 Kubernetes에 Airflow를 설치해야 될 업무를 맡게 되었습니다. 이번 포스팅에서는 Airflow를 Kubernetes 환경에 설치하는 것을 정리해 보았습니다. Helm으로 Airflow 설치 Airflow에서 공식 Helm을 제공해 주기 때문에 해당 Helm으로 설치를 진행하였습니다. 다른 버전인 User-community Helm도 존재하니 참고해 주시길 바랍니다. Airflow Helm Chart를..

SFTP 전용 유저 생성 보안상의 이유로 SFTP용 유저를 생성할 미션이 생겼다. 요즘 파일 공유는 Google Cloud, Naver MYBOX 등 다양한 서비스 들이 존재한다. 하지만 사내 내부망에서는 보안 상의 이유로 쓸 수가 없다. 이번에 사내에서 Linux Server를 파일 배포 Server로 활용한다고 하여 원초적인 방법으로 진행하기로 하였다. SFTP 유저를 2개 만들어서 Admin은 Upload, Download가 가능, 일반 User는 Download만 가능하도록 하였다. FileZilla를 이용하여 파일을 Upload, Download 하는 것이다. 일련의 과정을 정리해보려 한다. SFTP용 폴더 생성 먼저 SFTP용 폴더를 하나 만들어 해당 Path에 Admin과 일반 User가 접..