JUST WRITE

Talos로 Kubernetes 설치회사에서 솔루션을 개발하게 되었습니다.개발하기 앞서 필요한 여러 가지 서비스를 설치해야 했습니다.MySQL, Clickhouse, Minio와 같은 스토리지와 외부 서비스를 구축해야 하였습니다.처음에는 docker-compose로 관리했지만 서비스가 많아지면서 관리가 너무 힘들었습니다.Kubernetes를 도입하고 싶었지만 클라우드 k8s 도입 비용이 없었고 GPU 서버 1대만 있는 상황이었습니다.그러던 중 Talos Linux를 발견했습니다.What is Talos?Talos는 Kubernetes 전용으로 설계된 Container 전용 OS입니다.세가지 특징이 있습니다.Container 전용 OS - SSH도 없고 shell도 없습니다. 다만 talosctl를 통해 ..

Hybrid Search 구성RAG와 LLM을 활용한 자동분류 서비스를 구성하고 있습니다.Milvus에 Dense 임베딩 값을 넣어서 RAG를 구성하였지만 성능이 좋지 않았습니다.성능 보완을 위해 Dense 임베딩뿐만 아니라 Sparse 임베딩도 넣어서 성능을 보완해보려고 합니다.Sparse 임베딩과 Dense 임베딩이 무엇인지는 아래 포스팅을 참고하시길 바랍니다.차이점 중심으로 비교해 보았습니다. [Embedding] Sparse vs Dense 임베딩Sparse vs Dense 임베딩프로젝트에 투입해서 RAG와 LLM을 활용한 자동 분류 서비스를 개발하였습니다.처음에는 다국어를 지원하는 paraphrase-multilingual-mpnet-base-v2 임베딩 모델로 임베딩을 생성해서Milvusde..

Sparse vs Dense 임베딩프로젝트에 투입해서 RAG와 LLM을 활용한 자동 분류 서비스를 개발하였습니다.처음에는 다국어를 지원하는 paraphrase-multilingual-mpnet-base-v2 임베딩 모델로 임베딩을 생성해서Milvus에 해당 임베딩을 저장하여 RAG를 구성하였습니다. [LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도developnote-blog.tistory.comRAG만 구성하면 다 될 줄 알았지만 생각보다 검색 성능이 좋지 않았습니다.유사 문서의 검색 ..

부서별 업무 환경이 질환에 영향을 미칠까?프로젝트에서 데이터 분석 업무를 맡게 되었습니다.그중 하나가 직원 건강검진 데이터를 분석하는 것이었습니다.개인 정보 보안 때문에 제한된 정보만으로 분석하게 되었습니다.건강검진 데이터는 아래와 같은 형태로 되어 있었습니다.연령대부서고혈압당뇨빈혈20대A 부서AAA50대B 부서D1C2A2022년부터 데이터를 관리하기 시작해서 3년 치 정도의 데이터만 엑셀로 관리되고 있었습니다.데이터는 총 700건 정도밖에 되지 않았습니다.작은 데이터 셋으로도 의미 있는 인사이트를 얻을 수 있을지 고민하였습니다.데이터를 보고 아래와 같은 궁금증이 생겼습니다.연령대가 높을수록 질병 발생률이 높을까?부서별 업무 환경이 영향을 미칠까?이게 단순한 우연일까? 데이터로 증명할 수 없을까?이러한 ..

Ollama 세팅하기데이터를 카테고리별로 자동 분류하는 과제를 진행하고 있습니다.LLM과 RAG를 활용해서 자동 분류를 진행하려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.이전 포스팅에서 VectorDB 설치에 관해 정리하였습니다. [LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류..

VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도전하려고 합니다.그래서 자동 분류를 RAG와 LLM을 활용해서 해보려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.시리즈로 구성해서 위 내용들을 블로그에 정리해보려고 합니다.이번 포스팅에서는 VectorDB를 구성하고 분류에 참고할 과거 데이터를 저장..