JUST WRITE

Ollama 세팅하기데이터를 카테고리별로 자동 분류하는 과제를 진행하고 있습니다.LLM과 RAG를 활용해서 자동 분류를 진행하려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.이전 포스팅에서 VectorDB 설치에 관해 정리하였습니다. [LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류..

VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도전하려고 합니다.그래서 자동 분류를 RAG와 LLM을 활용해서 해보려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.시리즈로 구성해서 위 내용들을 블로그에 정리해보려고 합니다.이번 포스팅에서는 VectorDB를 구성하고 분류에 참고할 과거 데이터를 저장..

Tracking System Mlflow 세팅회사에서 하이퍼 파라미터 튜닝(Hyper parameter Tuning)에 관해서 스터디를 진행하였습니다.엔지니어 입장에서 하이퍼 파라미터 튜닝에 필요한 오픈 소스와 시스템 구성 위주로 공부하였습니다.스터디 전에는 몰랐지만 튜닝 관련해서 다양한 오픈 소스들이 있다는 것을 알았습니다.이번 포스팅을 시작으로 스터디에서 공부한 하이퍼 파라미터 튜닝에 관해서 정리하고자 합니다.하이퍼 파라미터는 무엇인가?본격적인 내용에 앞서 하이퍼 파라미터가 무엇인지 짚고 넘어갑니다.하이퍼 파라미터는 모델의 학습 프로세스 부분을 설정할 수 있는 매개변수입니다.모델이 어떻게 학습할지 설정할 수 있는 매개변수입니다.모델 학습 전 머신러닝 엔지니어가 하이퍼 파라미터를 선택하고 설정합니다.학..

Click 한 번에 Segmentation?! Vision 프로젝트를 진행하면서 CVAT을 사용하고 있습니다. CVAT을 통해 이미지를 Labeling 작업을 진행하고 있습니다. CVAT을 통해 Auto Labeling 작업도 진행할 수 있지만 100% 원하는 대로 Labeling을 하지는 못합니다. 사용자가 수동으로 Labeling을 진행해야 하는 경우도 있습니다. bounding box가 아닌 segmentation으로 정교한 Labeling을 사용자가 하기 힘듭니다. segmentation도 수월하게 할 수 없을까 고민하다가 찾은 것이 SAM(Segment Anything Model)입니다. SAM을 활용하면 segmentation을 수월하게 할 수 있습니다. 이번 포스팅에서는 CVAT에 SAM을 ..

GraphDB로 얼굴인식하기 저번 포스팅에서 deepFace를 통해서 이미지에서 얼굴 feature를 추출하여 Neo4j에 Node에 저장하였습니다. 이미지의 파일명과 feature을 단순히 저장만 하였습니다. 이번 포스팅에서는 feature끼리의 연관성을 분석해서 간단한 얼굴인식 App까지 구성해보겠습니다. 비슷한 얼굴(Node)끼리 연결 GraphDB는 Data간의 관계를 생성하여 관계를 통해 Data를 검색할때 빠른 속도를 자랑합니다. Data가 많아지더라도 관계를 형성한 Node끼리는 빠르게 검색이 가능합니다. 이번 예제에서 얼굴이 비슷한 Node끼리 연결하여 동일 인물의 이미지를 빠르게 검색하도록 합니다. deepFace에서 FaceNet 모델을 통해서 Feature를 추출하였습니다. 같은 사람..

deepFace로 얼굴 이미지 Feature 추출 저번 포스팅에서 GraphDB 중 하나인 Neo4j를 AWS EC2에 설치하였습니다. [Vision] GraphDB로 얼굴인식을?!?!(1) - neo4j 구축하기 GraphDB로 얼굴인식을?!?! Face Recognition은 지문, 동공 인식과 더불어 보안 시스템에 많이 활용되고 있습니다. 요즘 Vision과관련한 Project를 준비하다 보니 Vision 관련 논문도 보고 있습니다. 그러다 팀 developnote-blog.tistory.com 이번 포스팅에서는 이미지에서 얼굴의 Feature을 추출해 보도록 하겠습니다. deepFace란?! 얼굴 이미지의 Feature을 추출해서 Feature들을 비교하여 얼굴 인식을 합니다. 얼굴 인식은 크게..