| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
- Trino
- Kafka
- kubectl
- grafana
- JavaScript
- OS
- Vision
- aws s3
- Operating System
- CSV
- log
- AWS
- java
- CVAT
- docker
- Network
- kubernetes
- Spring
- kubeadm
- Python
- airflow
- tcp
- ip
- MAC address
- zookeeper
- helm
- Packet
- PostgreSQL
- EC2
- jvm
- Today
- Total
목록vectordb (2)
JUST WRITE
[Embedding] Hybrid Search - Qdrant 구성
Hybrid Search 구성RAG와 LLM을 활용한 자동분류 서비스를 구성하고 있습니다.Milvus에 Dense 임베딩 값을 넣어서 RAG를 구성하였지만 성능이 좋지 않았습니다.성능 보완을 위해 Dense 임베딩뿐만 아니라 Sparse 임베딩도 넣어서 성능을 보완해보려고 합니다.Sparse 임베딩과 Dense 임베딩이 무엇인지는 아래 포스팅을 참고하시길 바랍니다.차이점 중심으로 비교해 보았습니다. [Embedding] Sparse vs Dense 임베딩Sparse vs Dense 임베딩프로젝트에 투입해서 RAG와 LLM을 활용한 자동 분류 서비스를 개발하였습니다.처음에는 다국어를 지원하는 paraphrase-multilingual-mpnet-base-v2 임베딩 모델로 임베딩을 생성해서Milvusde..
[LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기
VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도전하려고 합니다.그래서 자동 분류를 RAG와 LLM을 활용해서 해보려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.시리즈로 구성해서 위 내용들을 블로그에 정리해보려고 합니다.이번 포스팅에서는 VectorDB를 구성하고 분류에 참고할 과거 데이터를 저장..