JUST WRITE

Terrafrom으로 AKS 클러스터 구축TL;DRAzure VM에서 Terraform을 사용해 AKS 클러스터 + ACR을 한 번에 프로비저닝 하는 방법을 정리CNI는 eBPF 기반 Cilium, 디스크는 비용/성능 모두 유리한 Ephemeral 선택Terraform init -> plan -> apply 세 단계로 한 번에 AKS 클러스터 구축회사에서 Azure를 경험할 수 있는 업무가 생겨서 AKS를 구축하기로 하였습니다.이전에 Terraform으로 EKS도 쉽게 구축한 경험이 있어서,이번에도 Terraform을 이용해 AKS를 한 번에 구축하기로 하였습니다. [Terraform] AWS EKS 한 번에 올리기(1) - VPC 구성AWS EKS 한 번에 올리기(1)이전에 Terraform을 통해서 ..

VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도전하려고 합니다.그래서 자동 분류를 RAG와 LLM을 활용해서 해보려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.시리즈로 구성해서 위 내용들을 블로그에 정리해보려고 합니다.이번 포스팅에서는 VectorDB를 구성하고 분류에 참고할 과거 데이터를 저장..

Trino 히스토리 데이터 영구 저장사내에서 빅데이터 쿼리에 뛰어난 성능을 보여주는 Trino를 활용하고 있습니다.빅데이터 쿼리뿐만 아니라 다른 데이터베이스의 데이터끼리 조인이 가능합니다.현재 쿠버네티스 환경에 Trino를 구성해서 사용하고 있습니다. 다만 한 가지 문제가 있었습니다.presto 기반의 쿼리 엔진이라 메모리를 사용해서 로그성 데이터가 남지 않았습니다.따로 벡엔드 데이터베이스를 가지지 않습니다.Trino에서 쿼리 한 이력을 확인하는데 큰 제약이 있습니다.하지만 방법은 없는 것이 아닙니다.Trino에서 쿼리 이력을 저장할 수 있도록 제공해 주는데 따로 설정이 필요합니다.이번 포스팅에서는 Trino에서 쿼리 이력을 따로 저장하는 방법을 정리하도록 하겠습니다.Trino WEB UI이번 포스팅에서..

Tracking System Mlflow 세팅회사에서 하이퍼 파라미터 튜닝(Hyper parameter Tuning)에 관해서 스터디를 진행하였습니다.엔지니어 입장에서 하이퍼 파라미터 튜닝에 필요한 오픈 소스와 시스템 구성 위주로 공부하였습니다.스터디 전에는 몰랐지만 튜닝 관련해서 다양한 오픈 소스들이 있다는 것을 알았습니다.이번 포스팅을 시작으로 스터디에서 공부한 하이퍼 파라미터 튜닝에 관해서 정리하고자 합니다.하이퍼 파라미터는 무엇인가?본격적인 내용에 앞서 하이퍼 파라미터가 무엇인지 짚고 넘어갑니다.하이퍼 파라미터는 모델의 학습 프로세스 부분을 설정할 수 있는 매개변수입니다.모델이 어떻게 학습할지 설정할 수 있는 매개변수입니다.모델 학습 전 머신러닝 엔지니어가 하이퍼 파라미터를 선택하고 설정합니다.학..

GPU Worker 노드 추가저번 포스팅에서는 Kubernetes 클러스터에 Worker 노드를 추가하기 전 필요한 세팅을 진행하였습니다. Kubernetes에 GPU 노드 추가(1) - GPU 노드 세팅GPU 노드 세팅컨테이너화된 애플리케이션이 주로 개발이 되면서 Kubernetes의 활용도가 높아지고 있습니다.AI 서비스 역시 Kubernetes에 배포, 운영되는 경우가 많아지고 있습니다.AI 서비스에서 인퍼developnote-blog.tistory.com이번 포스팅에서는 Kubernetes 클러스터에 Worker 노드를 추가하고 필요한 추가 세팅을 진행하겠습니다.Worker 노드 추가Master 노드에서 kubeadm 명령어로 토큰을 생성합니다.토큰을 생성하면서 --print-join-comman..

GPU 노드 세팅컨테이너화된 애플리케이션이 주로 개발이 되면서 Kubernetes의 활용도가 높아지고 있습니다.AI 서비스 역시 Kubernetes에 배포, 운영되는 경우가 많아지고 있습니다.AI 서비스에서 인퍼런스(Inference) 성능을 위해 GPU 활용이 중요합니다.Kubernetes에 GPU 노드를 추가함으로써 AI 서비스 인퍼런싱시 GPU를 활용할 수 있습니다.사내에 마침 GPU를 가진 PC가 남아 있어 세팅을 해보았습니다.2개 포스팅을 통해 Kubernetes에 GPU 노드를 추가하는 방법을 정리하려고 합니다.이번 포스팅에서는 추가하기 전 GPU 노드 세팅하는 방법을 정리해보았습니다.GPU 노드 k8s Worker 세팅nvidia driver 및 Container Toolkit 설치lshw(..