일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
- jvm
- log
- MAC address
- Python
- Kafka
- JavaScript
- grafana
- Vision
- AWS
- PostgreSQL
- helm
- Operating System
- CVAT
- docker
- Packet
- zookeeper
- EC2
- OS
- kubectl
- Spring
- Network
- aws s3
- kubeadm
- java
- kubernetes
- Trino
- CSV
- tcp
- airflow
- ip
- Today
- Total
목록embedding (2)
JUST WRITE

Hybrid Search 구성RAG와 LLM을 활용한 자동분류 서비스를 구성하고 있습니다.Milvus에 Dense 임베딩 값을 넣어서 RAG를 구성하였지만 성능이 좋지 않았습니다.성능 보완을 위해 Dense 임베딩뿐만 아니라 Sparse 임베딩도 넣어서 성능을 보완해보려고 합니다.Sparse 임베딩과 Dense 임베딩이 무엇인지는 아래 포스팅을 참고하시길 바랍니다.차이점 중심으로 비교해 보았습니다. [Embedding] Sparse vs Dense 임베딩Sparse vs Dense 임베딩프로젝트에 투입해서 RAG와 LLM을 활용한 자동 분류 서비스를 개발하였습니다.처음에는 다국어를 지원하는 paraphrase-multilingual-mpnet-base-v2 임베딩 모델로 임베딩을 생성해서Milvusde..

Sparse vs Dense 임베딩프로젝트에 투입해서 RAG와 LLM을 활용한 자동 분류 서비스를 개발하였습니다.처음에는 다국어를 지원하는 paraphrase-multilingual-mpnet-base-v2 임베딩 모델로 임베딩을 생성해서Milvus에 해당 임베딩을 저장하여 RAG를 구성하였습니다. [LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도developnote-blog.tistory.comRAG만 구성하면 다 될 줄 알았지만 생각보다 검색 성능이 좋지 않았습니다.유사 문서의 검색 ..