JUST WRITE

Tracking System Mlflow 세팅회사에서 하이퍼 파라미터 튜닝(Hyper parameter Tuning)에 관해서 스터디를 진행하였습니다.엔지니어 입장에서 하이퍼 파라미터 튜닝에 필요한 오픈 소스와 시스템 구성 위주로 공부하였습니다.스터디 전에는 몰랐지만 튜닝 관련해서 다양한 오픈 소스들이 있다는 것을 알았습니다.이번 포스팅을 시작으로 스터디에서 공부한 하이퍼 파라미터 튜닝에 관해서 정리하고자 합니다.하이퍼 파라미터는 무엇인가?본격적인 내용에 앞서 하이퍼 파라미터가 무엇인지 짚고 넘어갑니다.하이퍼 파라미터는 모델의 학습 프로세스 부분을 설정할 수 있는 매개변수입니다.모델이 어떻게 학습할지 설정할 수 있는 매개변수입니다.모델 학습 전 머신러닝 엔지니어가 하이퍼 파라미터를 선택하고 설정합니다.학..

뭐야?! No Space left on device?! Airflow를 Kubernetes Cluster에 Helm으로 구성하여 운영하고 있습니다. Airflow Backend Database로는 PostgreSQL을 사용하고 있습니다. Product 단계에서는 외부에 구축된 PostgreSQL을 연결해 사용해야 합니다. 하지만 내부 사정으로 Helm에 포함된 PostgreSQL을 사용하고 있습니다. Airflow Helm Chart.lock 파일을 보면 Bitnami에서 제공하는 PostgreSQL을 사용합니다. dependencies: - name: postgresql repository: https://charts.bitnami.com/bitnami version: 12.10.0 digest: sh..

Kubernetes환경에서 Airflow를?!?! 요즘 가장 핫한 Workflow Tool은 Airflow입니다. python으로 개발되어서 설치도 PyPl로 간편하게 설치할 수 있습니다. 하지만 디테일하게 사용하려면 Metastore, Celery Worker 등 설정할게 많습니다. 이러던 중 Kubernetes에 Airflow를 설치해야 될 업무를 맡게 되었습니다. 이번 포스팅에서는 Airflow를 Kubernetes 환경에 설치하는 것을 정리해 보았습니다. Helm으로 Airflow 설치 Airflow에서 공식 Helm을 제공해 주기 때문에 해당 Helm으로 설치를 진행하였습니다. 다른 버전인 User-community Helm도 존재하니 참고해 주시길 바랍니다. Airflow Helm Chart를..

What is Redshift? AWS Redshift는 Amazon Web Service중에 Data Warehousing을 지원하는 솔루션이다. 페타바이트(10^15bytes)급의 대용량 데이터를 처리할수 있다. 큰 Scale의 Data를 Migration할 수 있다. AWS Interface를 통해 손쉽게 새 Cluster를 구성할 수 있다. 특징 OLAP 형태의 Column 기반 Database PostgreSQL(Version 8.0.2) 기반 -> SQL Query 사용 가능 MPP(Massively Parallel Processing)를 통한 Fast Querying 제공 다수의 Computing 노드가 병렬로 작동하여 Query 처리 각 노드는 할당된 Data에 대해서 동일한 Query 처..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. 제품 Docker Image 구성하고 배포까지 완료하였다. 이제 제품 Docker Container들을 어떻게 운영하였는지 정리해보았다. 먼저 docker run 명령어에 대해서 정리해보려 한다. docker run docker container는 host에서 하나의 process에서 작동한다. container는 host와는 별개로 자신만의 file system, networking, 독립된 process tree를 가진다. docker run은 docker image를 기반으로 container를 실행시키는 명령어이다. # debian 이미지 기반 container 실행 docker run --name test..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. Docker 버전 제품 만들기 프로젝트에서 가장 먼저 한 것은 제품의 docker image를 만드는 작업이었다. 회사 제품의 구성은 아래 3가지 구성이었다. 제품 Repository Java 기반 Web Application Database 관련 데이터 수집하는 Daemon Program 차례대로 image화 작업을 진행하였다. Repository Image 만들기 Database 선정 회사 제품은 Oracle, PostgreSQL 2가지 Database를 지원하였다. 2가지 Database 중 공식적으로 docker Image를 제공하는 PostgreSQL로 결정하였다. image 분리 PostgreSQL do..