일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- Spring
- Packet
- EC2
- jvm
- CVAT
- MAC address
- kubectl
- docker
- java
- Operating System
- Python
- Trino
- JavaScript
- kubeadm
- Kafka
- CSV
- kubernetes
- aws s3
- airflow
- helm
- grafana
- AWS
- Network
- ip
- log
- tcp
- Vision
- OS
- PostgreSQL
- zookeeper
- Today
- Total
목록2024/11 (3)
JUST WRITE
VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도전하려고 합니다.그래서 자동 분류를 RAG와 LLM을 활용해서 해보려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.시리즈로 구성해서 위 내용들을 블로그에 정리해보려고 합니다.이번 포스팅에서는 VectorDB를 구성하고 분류에 참고할 과거 데이터를 저장..
Trino 히스토리 데이터 영구 저장사내에서 빅데이터 쿼리에 뛰어난 성능을 보여주는 Trino를 활용하고 있습니다.빅데이터 쿼리뿐만 아니라 다른 데이터베이스의 데이터끼리 조인이 가능합니다.현재 쿠버네티스 환경에 Trino를 구성해서 사용하고 있습니다. 다만 한 가지 문제가 있었습니다.presto 기반의 쿼리 엔진이라 메모리를 사용해서 로그성 데이터가 남지 않았습니다.따로 벡엔드 데이터베이스를 가지지 않습니다.Trino에서 쿼리 한 이력을 확인하는데 큰 제약이 있습니다.하지만 방법은 없는 것이 아닙니다.Trino에서 쿼리 이력을 저장할 수 있도록 제공해 주는데 따로 설정이 필요합니다.이번 포스팅에서는 Trino에서 쿼리 이력을 따로 저장하는 방법을 정리하도록 하겠습니다.Trino WEB UI이번 포스팅에서..
AWS EKS 한 번에 올리기(1)이전에 Terraform을 통해서 Kubernetes 클러스터를 한 번에 구성한 적이 있습니다.AWS EC2 인스턴스를 여러 개 생성해서 클러스터를 구성하였습니다. 명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간developnote-blog.tistory.comEC2 인스턴스에 kubeadm를 이용해서 클러스터를 구성하였는데, AWS EKS라는 서비스가 존재합니다.이번 포스팅에서는 Terra..