JUST WRITE

[Vision] 엔지니어의 Yolo 도전기(2) - Train Dataset 준비

Train DataSet 준비 저번 포스팅에서 CVAT을 활용해서 Video를 Auto Labeling을 진행하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀 developnote-blog.tistory.com 이제 Yolo 모델을 Train 할 수 있게 DataSet을 준비하도록 하겠습니다. CVAT Data Export 저번에 CVAT에서 Auto Labeling을 한 Task에서 Data를 Export 합니다. Data 포맷은 COCO 포맷으..
AI 2023. 4. 16. 22:22
[Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling

엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀장님에게 이번 프로젝트에서 CVAT이 활용될 수 있다는 단서를 들었습니다. 이 단서를 바탕으로 일단 부딪혀 보기로 하였습니다. CVAT으로 Train 할 Dataset을 만들고 Vision 모델 중 Yolo 모델을 Train 하는 일련을 과정에 도전해 보았습니다. 아래 3가지 Step으로 이번 도전기를 정리해보려 합니다. CVAT을 통해 Auto Labeling 후 Train Dataset 생성 해당 Dataset을 Yolo Train을 할 수 있게 변환 Dataset으로 Yolo Model Train ..
AI 2023. 4. 9. 20:14
[AWS] 비용 절감을 위한 EC2 Scheduling

비용 절감을 위한 EC2 Scheduling AWS에서 가장 많이 사용하는 것이 EC2입니다. EC2는 기본적으로 사용하는 시간에 따라 비용을 부과합니다. 사용할 시간에만 사용하고 그 외 시간에는 중지하는 게 좋습니다. 비용 절감을 위해 EC2 인스턴스 Scheduling은 필수입니다. 이번 포스팅에서는 자동으로 EC2 인스턴스를 시작/중지할 수 있도록 Scheduling 하는 방법을 소개합니다. IAM 설정 EC2 Scheduling에서 먼저 해야할 것은 IAM 설정입니다. EC2를 시작하고 중지할 수 있는 권한을 만들어 AWS Lambda에서 EC2를 제어할 수 있게 해줘야 합니다. IAM에서 역할을 생성합니다. Lambda을 통해서 EC2를 시작/중지할 것이기 때문에 사용 사례를 Lambda로 선택..
Cloud 2023. 3. 17. 17:44
UI로 Kafka 관리하기

CMAK 설치 Kafka Cluster를 구축하고 나서 Kafka Broker를 컨트롤하려면 기본적으로 command로 컨트롤합니다. Kafka Bin 폴더 아래에 다양한 script를 제공해 줍니다. $ ll ~/kafka/bin -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-distributed.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-mirror-maker.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-standalone.sh -rwxr-xr-x 1 kafka kafka 861 Dec 21 21:14 kafka-acls.sh -rwxr-xr-x 1 k..
MLOps/Kafka 2023. 3. 16. 17:25
Feature Store 필요해?!

저번 포스팅에서 MLOps에 대해서 하나하나 살펴보았습니다. 논문을 통해 MLOps의 전체적인 흐름과 아키텍처에 대해 알아보았습니다. Machine Learning Operations Overview, Definition and Architecture 1. Why this paper? 데이터 거버넌스 관리 솔루션 개발자로 첫 커리어를 시작했습니다. 데이터를 다루다보니 자연스럽게 데이터에 깊은 관심을 가지게 되었고 데이터 엔지니어로 꿈을 꾸게 되었고 developnote-blog.tistory.com 이번 포스팅에서는 MLOps에서 중요한 component 중 하나인 Feature store에 대해 정리해보려 합니다. 저번 포스팅에서 언급만 되었고 자세히 살펴보지 않았습니다. ETRI에서 Feature S..
Paper 2023. 3. 7. 22:49
GlusterFS 설치

GlusterFS 설치 고객사에 요청에 의해서 Active-Active 한 File Server 구성을 요청받았습니다. 주어진 Server는 OS가 Oracle Linux 7인 Server 2개였습니다. 몇 가지 후보군 중에 GlusterFS 통해 File Server를 구성하기로 하였습니다. What is GlusterFS GlusterFS는 Open Source로 분산 File System입니다. Metadata를 따로 가지고 있지 않는 것이 큰 특징입니다. Gluster Volume을 통해 File을 관리하게 됩니다. Gluster Volume은 Server내에 구성한 Brick들로 구성됩니다. Gluster Volume의 종류는 아래와 같습니다. Distributed Volume -> 각 Bric..
Data 2023. 2. 26. 16:27
Prev 1 ··· 6 7 8 9 10 11 12 ··· 35 Next