목록AWS (29)

JUST WRITE

[Vision] GraphDB로 얼굴인식을?!?!(1) - neo4j 구축하기

GraphDB로 얼굴인식을?!?! Face Recognition은 지문, 동공 인식과 더불어 보안 시스템에 많이 활용되고 있습니다. 요즘 Vision과관련한 Project를 준비하다 보니 Vision 관련 논문도 보고 있습니다. 그러다 팀장님의 소개로 아래와 같은 논문을 알게 되었습니다. Neo4j와 DeepFace라는 Python Library을 통해 Face Recoginition 기능을 구현한 논문이었습니다. An Evaluation of SQL and NoSQL Databases for Facial Recognition Pipelines Facial recognition research has achieved significant progress in recent years. State-of-t..
AI 2023. 4. 29. 12:24
[Vision] 엔지니어의 Yolo 도전기(3) - Yolo 모델 Train

Yolo 모델 Trian 저번 포스팅에서 Yolo 모델을 Train 하기 위한 DataSet을 준비하였습니다. CVAT을 통하여 샘플 Video에 있는 사람을 Labeling 하고 해당 Data를 COCO Data 포맷으로 변환하였습니다. 이번 포스팅에서는 준비한 DataSet으로 Yolo 모델을 Train 해보겠습니다. Train 환경 준비 Train에 필요한 환경을 준비해야 합니다. 필수는 아니지만 빠른 Train을 위해서 GPU Server를 권장합니다. 저는 AWS EC2에서 Ubuntu p2.xlarge로 GPU Server를 준비하였습니다. GPU Server 환경 구성은 아래 포스팅에 참고해 주시길 바랍니다. AWS EC2에서 GPU를 사용하려면?! AWS EC2 GPU를 사용하려면?! 딥러..
AI 2023. 4. 27. 16:04
AWS EC2에서 GPU를 사용하려면?!

AWS EC2 GPU를 사용하려면?! 딥러닝 작업은 단순사칙연산을 수행합니다. 단순사칙연산 작업은 CPU보다는 GPU에 작업 시 효율적으로 동작합니다. GPU 서버에서 GPU를 활용해서 딥러닝 작업을 하려면 추가적인 조치가 필요합니다. 해당 조치중에 Nvidia Driver를 설치하여 GPU를 활용할 수 있도록 하는 방안이 있습니다. GPU를 지원하는 AWS EC2에서 Nvidia Driver 설치 과정을 정리하였습니다. EC2 인스턴스 시작 AWS EC2중에서 GPU를 지원하는 인스턴스 유형이 있습니다. 해당 링크에서 인스턴스 유형을 확인할 수 있습니다. P3 인스턴스는 Nvidia Tesla V100 GPU 사용 P4 인스턴스는 Nvidia Tesla A100 GPU 사용 G3 인스턴스는 Nvidia..
MLOps 2023. 4. 24. 22:23
[Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling

엔지니어의 Yolo 도전기 회사에서 Vision 관련 프로젝트를 진행할 수 있다는 소식이 전해졌습니다. AI로 강아지와 고양이를 비교하는 예시만 많이 들었지 Vision은 저에게는 미지의 세계였습니다. 팀장님에게 이번 프로젝트에서 CVAT이 활용될 수 있다는 단서를 들었습니다. 이 단서를 바탕으로 일단 부딪혀 보기로 하였습니다. CVAT으로 Train 할 Dataset을 만들고 Vision 모델 중 Yolo 모델을 Train 하는 일련을 과정에 도전해 보았습니다. 아래 3가지 Step으로 이번 도전기를 정리해보려 합니다. CVAT을 통해 Auto Labeling 후 Train Dataset 생성 해당 Dataset을 Yolo Train을 할 수 있게 변환 Dataset으로 Yolo Model Train ..
AI 2023. 4. 9. 20:14
[AWS] 비용 절감을 위한 EC2 Scheduling

비용 절감을 위한 EC2 Scheduling AWS에서 가장 많이 사용하는 것이 EC2입니다. EC2는 기본적으로 사용하는 시간에 따라 비용을 부과합니다. 사용할 시간에만 사용하고 그 외 시간에는 중지하는 게 좋습니다. 비용 절감을 위해 EC2 인스턴스 Scheduling은 필수입니다. 이번 포스팅에서는 자동으로 EC2 인스턴스를 시작/중지할 수 있도록 Scheduling 하는 방법을 소개합니다. IAM 설정 EC2 Scheduling에서 먼저 해야할 것은 IAM 설정입니다. EC2를 시작하고 중지할 수 있는 권한을 만들어 AWS Lambda에서 EC2를 제어할 수 있게 해줘야 합니다. IAM에서 역할을 생성합니다. Lambda을 통해서 EC2를 시작/중지할 것이기 때문에 사용 사례를 Lambda로 선택..
Cloud 2023. 3. 17. 17:44
UI로 Kafka 관리하기

CMAK 설치 Kafka Cluster를 구축하고 나서 Kafka Broker를 컨트롤하려면 기본적으로 command로 컨트롤합니다. Kafka Bin 폴더 아래에 다양한 script를 제공해 줍니다. $ ll ~/kafka/bin -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-distributed.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-mirror-maker.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-standalone.sh -rwxr-xr-x 1 kafka kafka 861 Dec 21 21:14 kafka-acls.sh -rwxr-xr-x 1 k..
MLOps/Kafka 2023. 3. 16. 17:25
Prev 1 2 3 4 5 Next