티스토리

JUST WRITE

검색하기

블로그 홈

JUST WRITE

developnote-blog.tistory.com/m

천재보단범재 님의 블로그입니다.

구독자: 11

방명록 방문하기

주요 글 목록

[LLM] RAG와 LLM을 활용한 자동 분류(2) - Ollama 세팅하기 Ollama 세팅하기데이터를 카테고리별로 자동 분류하는 과제를 진행하고 있습니다.LLM과 RAG를 활용해서 자동 분류를 진행하려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.이전 포스팅에서 VectorDB 설치에 관해 정리하였습니다. [LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류.. 공감수 1 댓글수 0 2024. 12. 14.
[LLM] RAG와 LLM을 활용한 자동 분류(1) - VectorDB 구성하기 VectorDB 구성하기좋은 기회로 사내에서 데이터를 카테고리별로 자동 분류하는 과제를 맡게 되었습니다.엔지니어이기 때문에 분류 서비스를 만들어 본 적은 없지만,이번 기회에 다양한 것들을 도전하려고 합니다.그래서 자동 분류를 RAG와 LLM을 활용해서 해보려고 합니다.방식을 간단하게 나열해 보면 아래와 같습니다.학습에 쓰일 과거 데이터를 VectorDB에 저장한다.서버에 OpenSource 기반의 LLM을 설치한다.분류를 진행하려는 데이터를 VectorDB에서 유사한 데이터를 찾는다.찾은 데이터를 기반으로 프롬프트를 구성해서 LLM에 어떤 카테고리에 해당하는지 물어본다.시리즈로 구성해서 위 내용들을 블로그에 정리해보려고 합니다.이번 포스팅에서는 VectorDB를 구성하고 분류에 참고할 과거 데이터를 저장.. 공감수 3 댓글수 0 2024. 11. 23.
[Trino] 너의 흔적을 기록하고 싶어 - 히스토리 데이터 영구 저장 Trino 히스토리 데이터 영구 저장사내에서 빅데이터 쿼리에 뛰어난 성능을 보여주는 Trino를 활용하고 있습니다.빅데이터 쿼리뿐만 아니라 다른 데이터베이스의 데이터끼리 조인이 가능합니다.현재 쿠버네티스 환경에 Trino를 구성해서 사용하고 있습니다. 다만 한 가지 문제가 있었습니다.presto 기반의 쿼리 엔진이라 메모리를 사용해서 로그성 데이터가 남지 않았습니다.따로 벡엔드 데이터베이스를 가지지 않습니다.Trino에서 쿼리 한 이력을 확인하는데 큰 제약이 있습니다.하지만 방법은 없는 것이 아닙니다.Trino에서 쿼리 이력을 저장할 수 있도록 제공해 주는데 따로 설정이 필요합니다.이번 포스팅에서는 Trino에서 쿼리 이력을 따로 저장하는 방법을 정리하도록 하겠습니다.Trino WEB UI이번 포스팅에서.. 공감수 0 댓글수 0 2024. 11. 17.
[Terraform] AWS EKS 한 번에 올리기(1) - VPC 구성 AWS EKS 한 번에 올리기(1)이전에 Terraform을 통해서 Kubernetes 클러스터를 한 번에 구성한 적이 있습니다.AWS EC2 인스턴스를 여러 개 생성해서 클러스터를 구성하였습니다. 명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간developnote-blog.tistory.comEC2 인스턴스에 kubeadm를 이용해서 클러스터를 구성하였는데, AWS EKS라는 서비스가 존재합니다.이번 포스팅에서는 Terra.. 공감수 0 댓글수 0 2024. 11. 3.
하이퍼 파리미터 튜닝(1) - Tracking System Mlflow 세팅 Tracking System Mlflow 세팅회사에서 하이퍼 파라미터 튜닝(Hyper parameter Tuning)에 관해서 스터디를 진행하였습니다.엔지니어 입장에서 하이퍼 파라미터 튜닝에 필요한 오픈 소스와 시스템 구성 위주로 공부하였습니다.스터디 전에는 몰랐지만 튜닝 관련해서 다양한 오픈 소스들이 있다는 것을 알았습니다.이번 포스팅을 시작으로 스터디에서 공부한 하이퍼 파라미터 튜닝에 관해서 정리하고자 합니다.하이퍼 파라미터는 무엇인가?본격적인 내용에 앞서 하이퍼 파라미터가 무엇인지 짚고 넘어갑니다.하이퍼 파라미터는 모델의 학습 프로세스 부분을 설정할 수 있는 매개변수입니다.모델이 어떻게 학습할지 설정할 수 있는 매개변수입니다.모델 학습 전 머신러닝 엔지니어가 하이퍼 파라미터를 선택하고 설정합니다.학.. 공감수 0 댓글수 0 2024. 10. 12.
Kubernetes에 GPU 노드 추가(2) - GPU Worker 노드 추가 GPU Worker 노드 추가저번 포스팅에서는 Kubernetes 클러스터에 Worker 노드를 추가하기 전 필요한 세팅을 진행하였습니다. Kubernetes에 GPU 노드 추가(1) - GPU 노드 세팅GPU 노드 세팅컨테이너화된 애플리케이션이 주로 개발이 되면서 Kubernetes의 활용도가 높아지고 있습니다.AI 서비스 역시 Kubernetes에 배포, 운영되는 경우가 많아지고 있습니다.AI 서비스에서 인퍼developnote-blog.tistory.com이번 포스팅에서는 Kubernetes 클러스터에 Worker 노드를 추가하고 필요한 추가 세팅을 진행하겠습니다.Worker 노드 추가Master 노드에서 kubeadm 명령어로 토큰을 생성합니다.토큰을 생성하면서 --print-join-comman.. 공감수 0 댓글수 0 2024. 6. 5.
Kubernetes에 GPU 노드 추가(1) - GPU 노드 세팅 GPU 노드 세팅컨테이너화된 애플리케이션이 주로 개발이 되면서 Kubernetes의 활용도가 높아지고 있습니다.AI 서비스 역시 Kubernetes에 배포, 운영되는 경우가 많아지고 있습니다.AI 서비스에서 인퍼런스(Inference) 성능을 위해 GPU 활용이 중요합니다.Kubernetes에 GPU 노드를 추가함으로써 AI 서비스 인퍼런싱시 GPU를 활용할 수 있습니다.사내에 마침 GPU를 가진 PC가 남아 있어 세팅을 해보았습니다.2개 포스팅을 통해 Kubernetes에 GPU 노드를 추가하는 방법을 정리하려고 합니다.이번 포스팅에서는 추가하기 전 GPU 노드 세팅하는 방법을 정리해보았습니다.GPU 노드 k8s Worker 세팅nvidia driver 및 Container Toolkit 설치lshw(.. 공감수 0 댓글수 0 2024. 5. 14.
[후기 - Udemy] 실전 AI 서비스 기획 Jump into the AI World 실전 AI 서비스 기획 - Jump into the AI World개발자 글쓰기 커뮤니티인 글또 9기에 참여하고 있습니다.이번 글또 기수에서는 다양한 혜택이 주어지고 있습니다.Udemy에서 좋은 강의를 경험해 볼 수 있는 기회가 주어졌습니다.2가지 강의 선택해서 들을 수 있었고 저는 아래 2가지 강의를 수강하였습니다.기술블로그로 알아보는 테크니컬 라이팅실전 AI 서비스 기획 - Jump into the AI World이번 포스팅에서는 2가지 강의 중에서 '실전 AI 서비스 기획 - Jump into the AI World'의 후기입니다.기술블로그로 알아보는 테크니컬 라이팅 후기는 아래 링크에서 확인 가능합니다. [후기 - Udemy] 기술블로그로 알아보는 테크니컬 라이팅기술블로그로 알아보는 테크니컬 라이.. 공감수 1 댓글수 0 2024. 5. 12.
업그레이드해도 될까요? - Control Plane Upgrade 업그레이드해도 될까요?사내에 Kubernetes Cluster를 운영하고 있습니다.저와 팀원들이 외부 프로젝트에 투입되어 있어서 Kubernetes Cluster가 방치되고 있었습니다.프로젝트가 마무리되고 본사로 복귀하였습니다.본사에서 근무하는 동안 사내 Kubernetes Cluster를 제대로 활용할 수 있도록 정리하려고 합니다.첫 번째 작업으로 Kubernetes Cluster 중 Control Plane을 업그레이드하였습니다.Control Plane 업그레이드사내 Kubernetes Cluster는 Control Plane 3개, Worker Node 3개로 구성되어 있습니다.각 노드 별 버전이 제각각이었습니다.1.27.4 버전도 있고 1.28 버전인 노드도 존재하였습니다.이번 작업으로 1.28... 공감수 1 댓글수 0 2024. 4. 25.
[후기 - Udemy] 기술블로그로 알아보는 테크니컬 라이팅 기술블로그로 알아보는 테크니컬 라이팅 개발자 글쓰기 커뮤니티인 글또 9기에 참여하고 있습니다. 이번 글또 기수에서는 다양한 혜택이 주어지고 있습니다. Udemy에서 좋은 강의를 경험해 볼 수 있는 기회가 주어졌습니다. 좋은 강의가 많이 있었지만 저는 그중에서 '기술블로그로 알아보는 테크니컬 라이팅'을 수강하였습니다. 현재 개발 블로그를 운영하고 있지만 글에 대해서 피드백을 받을 수 있는 기회가 적습니다. 블로그에 포스팅하고 있는 글들이 독자들에게 잘 전달되고 있는지 항상 의문이었습니다. 업무에서 매뉴얼, 제안서 등 다양한 종류의 문서를 작성하고 있습니다. 글쓰기 스킬 향상에 대해 필요성을 크게 느끼는 시기였습니다. 강의 리스트에 테크니컬 라이팅 강의가 눈에 띄었습니다. 강의 소개 테크니컬 라이팅 강의는 .. 공감수 2 댓글수 0 2024. 3. 24.
[후기 - 코드트리] 절대 가까울 수 없는 존재였던 코테가 다가왔다 절대 가까울 수 없는 존재였던 코테가 다가왔다 개발자 글쓰기 커뮤니티인 글또 8기부터 참여하고 있습니다. 현재(24년도 2월 기준)는 9기에 참여하면서 많은 혜택이 주어지고 있습니다. 그중에서 좋은 기회로 코딩테스트 준비 및 학습 서비스인 코드트리를 체험해 볼 수 있게 되었습니다. 직장인이라면 누구나 사직서를 가슴속에 품게 살게 되기 때문에 저 역시 성공적인 이직을 준비하는 마음으로 신청하였습니다. 코딩테스트를 작심삼일을 반복하며 계속 미루었는데 이번 기회를 통해 꾸준히 준비하려고 합니다. 첫 만남 - 진단 코딩테스트 준비는 지금 회사를 입사 이후로는 처음이니 2년 만에 다시 시작하게 되었습니다. 2년 전에는 코딩테스트 유명 도서인 이것이 코딩테스트다 with 파이썬으로 준비하였습니다. 그때는 작심삼일을.. 공감수 0 댓글수 0 2024. 2. 28.
Client VPN 구성 - Private Subnet 외부에서 접근 Client VPN 구성 보안을 위해 AWS Cloud 리소스 일부를 Private Subnet내에 구성하였습니다. 보통 AWS 리소스의 네트워크 접근을 제한할 때 보안그룹 inbound 설정을 통해서 합니다. Private Subnet 구성을 통해서 네트워크 접근을 막을 수 있습니다. Private Subnet을 생성해서 subnet 안에서만 접근할 수 있도록 설정하는 것입니다. 기본으로 생성되어 있는 subnet은 Internet Gateway를 통해 외부에서 접근 가능합니다. Private Subnet은 구성시 Internet Gateway를 연결하지 않고 라우팅 테이블 설정을 통해 subnet 내부에서만 통신하도록 설정합니다. 하지만 subnet 외부에서 접근을 해야 될 경우도 있습니다. 그래서 .. 공감수 0 댓글수 0 2024. 2. 27.
여기만 사용해! - 특정 Namespace 전용 User 생성 여기만 사용해! Github Action을 통해서 자동 배포 Workflow을 구성해보려고 합니다. 아래 step들로 workflow를 구성하려 합니다. 특정 조건일 때 Github Action Workflow 시작 docker image build Container Repository에 push 특정 Namespace에 Deployment에 새로운 build 한 image로 교체/재시작 사내에 구축된 Kubernetes Cluster에 배포까지 자동화 Workflow을 구성해보려고 합니다. 구성하기 앞서 특정 Namespace에 접근할 수 있는 ServiceAccount 생성이 필요하였습니다. 보통 Kubernetes Cluster 구축 시 생성한 관리자용 config로 접근을 합니다. $ mkdir .. 공감수 1 댓글수 0 2024. 2. 15.
[Vision] Click 한 번에 Segmentation?! - CVAT에 SAM 적용 Click 한 번에 Segmentation?! Vision 프로젝트를 진행하면서 CVAT을 사용하고 있습니다. CVAT을 통해 이미지를 Labeling 작업을 진행하고 있습니다. CVAT을 통해 Auto Labeling 작업도 진행할 수 있지만 100% 원하는 대로 Labeling을 하지는 못합니다. 사용자가 수동으로 Labeling을 진행해야 하는 경우도 있습니다. bounding box가 아닌 segmentation으로 정교한 Labeling을 사용자가 하기 힘듭니다. segmentation도 수월하게 할 수 없을까 고민하다가 찾은 것이 SAM(Segment Anything Model)입니다. SAM을 활용하면 segmentation을 수월하게 할 수 있습니다. 이번 포스팅에서는 CVAT에 SAM을 .. 공감수 3 댓글수 0 2024. 1. 17.
데이터 언제까지 저장할꺼니?!?! - Kafka Log Retention 데이터 언제 저장할꺼니?!?! Kafka는 분산 메시지 시스템이자 Message Queue입니다. Kafka는 메시지를 받고 바로 지우지 않고 어느 정도 Broker에 저장합니다. 다양한 Consumer에서 메시지를 활용할 수도 있고 Network 문제 등 다양한 이유로 consuming에 시간이 걸리수도 있습니다. Kafka에서는 데이터 저장을 어떤식으로 관리할까요? 이번 포스팅에서는 Kafka 데이터 저장 관련 설정값을 정리해보도록 하겠습니다. Log Retention Kafka에서는 Broker에서 메시지를 받고 저장하는데, 저장한 Message를 Log라고 합니다. Broker나 Topic의 설정값에 따라서 Broker에서 Log를 어느 정도 저장할지 설정할 수 있습니다. Retention 관련 .. 공감수 4 댓글수 0 2024. 1. 6.
어디까지 줄일 수 있니?! - Kafka Compression 어디까지 줄일 수 있니?! Kafka Cluster를 운영 업무를 맡아서 하고 있습니다. 여러 Cluster를 운영하고 있는데, 그중에서 해외 사이트에 설치된 Kafka Cluster도 있습니다. 해외사이트의 Kafka에서 국내로 Consuming해서 데이터를 처리해야 될 상황이었습니다. Network Bandwidth 때문에 아무리 Consuming 튜닝해도 데이터 전송에 제한이 있었습니다. 여러 가지 방안을 찾던 중 Message Compression을 좀 더 효과적으로 하는 방향을 고민해 보았습니다. 이번 포스팅에서는 위 이슈를 해결하기 위해 공부한 Message Compression을 정리해보려고 합니다. Kafka Compression Kafka는 실시간 데이터 처리하는 데 많이 사용되고 있습니.. 공감수 1 댓글수 0 2023. 12. 23.
Consumer야 살았니?! 죽었니?! - Kafka Consumer Heartbeats Consumer야 살았니?! 죽었니?! Kafka Cluster를 운영하면서 다양한 상황에 직면하게 됩니다. 그중에서 가장 많은 경우가 Producer나 Consumer가 제대로 동작하지 않고 shutdown 되는 경우입니다. 이번에 다른 팀에서 Consumer를 처음 세팅하면서 조언을 구하는 경우가 있었습니다. Consumer가 자꾸 shutdown된다는 거였습니다. 전달받은 log를 살펴보면 Heartbeat Thread closed. 위 문구를 발견할 수 있었습니다. 몇가지 Consumer 세팅값 변경을 권유해 주었습니다. 이후 저는 위 문구에 있는 Heartbeat Thread에 대해 궁금증이 생겼습니다. Kafka Cluster에서 데이터(Lag)를 가져오려면 Consumer Client를 통해.. 공감수 1 댓글수 0 2023. 11. 27.
k8s 날 거부하지 마 - Certificate 만료 갱신 k8s 날 거부하지 마 Kubernetes Cluster를 운영하고 있습니다. Kubernetes Cluster에서 몇 가지 확인할 사항이 있어 kubectl command를 날렸습니다. 그런데 아래와 같은 Error가 나오면서 kubectl command가 되지 않았습니다. $ kubectl get ns Unable to connect to the server: x509: certificate has expired or is not yet valid: current time 2023-10-17T15:40:55+09:00 is after 2023-10-17T04:15:30Z 처음 겪어보는 일이라 너무 당황하였습니다. Log를 다시 살펴보니 인증서가 만료됐다는 것을 확인할 수 있었습니다. 이번 포스팅에서는.. 공감수 0 댓글수 0 2023. 10. 18.
명령어 한 번에 Kubernetes 설치하기(2) - AWS ENI를 이용한 설치 명령어 한 번에 Kubernetes 설치하기(2) 이전 포스팅에서 Terraform을 통해서 AWS EC2에 Kubernetes Cluster를 구성하였습니다. 명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치 명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간 developnote-blog.tistory.com 다만 Terraform으로 구성 후 추가적인 작업이 필요하였습니다. hostname 설정 /etc/hosts 세팅 - Master Node, Worker Node P.. 공감수 0 댓글수 0 2023. 10. 4.
뭐야?! No Space left on device?! - Airflow db clean 뭐야?! No Space left on device?! Airflow를 Kubernetes Cluster에 Helm으로 구성하여 운영하고 있습니다. Airflow Backend Database로는 PostgreSQL을 사용하고 있습니다. Product 단계에서는 외부에 구축된 PostgreSQL을 연결해 사용해야 합니다. 하지만 내부 사정으로 Helm에 포함된 PostgreSQL을 사용하고 있습니다. Airflow Helm Chart.lock 파일을 보면 Bitnami에서 제공하는 PostgreSQL을 사용합니다. dependencies: - name: postgresql repository: https://charts.bitnami.com/bitnami version: 12.10.0 digest: sh.. 공감수 0 댓글수 0 2023. 9. 20.
빠르게 더 빠르게!!! - AWS Placement Group 빠르게 더 빠르게!!! 빅데이터의 시대가 되면서 데이터를 처리해야 될 양이 많아지고 있습니다. 서버에서 감당해야 할 네트워크 트래픽도 높아지고 있습니다. 데이터 전송을 높이기 위해 네트워크 성능을 높이는 방법은 많지 않습니다. 특히나 요즘은 Cloud 환경에서 서버를 구성하는 경우가 많습니다. 그럼 Cloud 환경에서 네트워크 성능을 높이는 방안은 뭐가 있을까요? AWS Placement Group 여러 가지 Cloud 환경이 있지만 오늘 포스팅에서는 AWS 환경에서 방안입니다. AWS에서는 Placement Group(배치 그룹)이란 것이 있습니다. AWS에서 가장 많이 사용하는 서비스인 EC2에 적용되는 설정입니다. AWS AZ(가용영역)에서 제공해 주는 Cloud Computing Service입니.. 공감수 1 댓글수 0 2023. 9. 13.
1개로 부족해, 2개의 IP로 접근하기 1개로 부족해, 2개의 IP로 접근하기 요즘 Cloud 환경에서 Server를 세팅하는 경우가 많습니다. Kafka 역시 Cloud 환경에서 운영하는 경우가 많습니다. Cloud 환경에서는 보통 Public Network, Private Network로 구성됩니다. 보안적으로 Public, Private 나눠서 구성하는 것이 좋습니다. Private Network는 내부에서만 접근하기 때문에 비교적 안전합니다. 그래도 외부에서 접근해야 될 경우도 있습니다. Public, Private IP로 모두 접근이 필요한 경우가 많습니다. Kafka도 Public, Private IP로 모두 접근하려면 어떻게 해야 할까요? Kafka Public/Private IP로 접근 Kafka 설정 중 Listener 관련 .. 공감수 1 댓글수 0 2023. 9. 5.
Doc에 있는 JVM 설정 파헤치기 Doc에 있는 JVM 설정 파헤치기 Kafka를 운영하다 보면 설정해야 될게 한두 가지가 아닙니다. Broker, Partition, Retention, Compression 등 이외에도 신경 써야 할 게 너무 많습니다. 저도 운영을 하다 보니 점점 Kafka의 사용도가 커지고 데이터 처리량이 많아지고 있습니다. Kafka 데이터 처리 성능과 관련된 설정을 찾아보게 되었습니다. 여러 가지가 있었지만 저의 눈에 띄었던 거는 Java 관련 설정이었습니다. 이번 포스팅에서는 Kafka Document에 있는 JVM 설정 Argument를 하나하나 살펴보겠습니다. Kafka Java Kafka는 JVM 위에서 동작하는 Java와 Scala로 개발되었습니다. 그래서 Kafka 설치에 앞서 JVM 설치가 필수적입니.. 공감수 1 댓글수 0 2023. 8. 21.
Trino 한번 써보겠습니다(3) - AWS S3내 CSV 데이터 조회 Trino 한번 써보겠습니다(3) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Kubernetes Cluster에 Hive Metastore를 구성해서 AWS S3에 연결까지 해보았습니다. Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결 Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통 developnote-blog.tistory.com Trino 설치 Hive Metastore와 AWS S3 연결 AWS S3내 CSV 데이터 조회.. 공감수 0 댓글수 2 2023. 8. 14.
Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결 Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C.. 공감수 0 댓글수 0 2023. 8. 9.
Pod 주기적으로 삭제하기 - Kubernetes에 CronJob 세팅 Pod 주기적으로 삭제하기 Kubernetes Cluster에 CVAT을 Helm으로 설치하여 운영하고 있습니다. Kubernetes에 CVAT 설치하기 - Helm으로 CVAT 설치 Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 developnote-blog.tistory.com CVAT을 사용하다 보니 설치한 namespace에 많은 수 Pod이 생성되어 있었습니다. STATUS가 Completed 상태의 Pod이 많이 남아 있었습니다. Completed는 Pod내 Contai.. 공감수 0 댓글수 0 2023. 8. 6.
credentials 설정 안해도 되네?! - AWS EC2 IAM 연결 credentials 설정 안해도 되네?! Terraform을 통해서 AWS EC2를 생성하고 세팅하려면 권한이 필요합니다. 해당 권한을 AWS IAM을 통해서 생성하고 EC2에 aws configure를 통해서 설정하였습니다. 그러면 credetials 파일이 생성되어 해당 파일의 권한 정보로 EC2를 생성하였습니다. # 1. aws command $ aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: # 2. credentials 파일 생성 $ vi ~/.aws/credentials [default] aws_access_key.. 공감수 0 댓글수 0 2023. 8. 3.
늘렸는데 늘어나지 않았습니다?! - AWS EBS 용량 늘리기 늘렸는데 늘어나지 않았습니다?! AWS EC2 4EA에 Kubernetes Cluster를 구축해서 사용 중에 있습니다. 비용을 최소한으로 하기 때문에 Disk, Memory를 최소한으로 사용하고 있습니다. 그러나 사용하다 보니 Pod이 제대로 실행되지 않았습니다. Pod이 Evicted 상태로 되었습니다. describe command로 Pod의 상태를 보면 DiskPressure로 인해서 Pod이 제대로 실행되지 않았습니다. Kubernetes Cluster의 Worker의 Disk를 늘려야 했습니다. 이번 포스팅에서는 AWS EBS 사이즈 늘린 후 적용하는 방법을 정리해 보도록 하겠습니다. EBS 용량 Up AWS EC2에 Kubernetes Cluster를 구성할 때, Docker Data와 Ku.. 공감수 0 댓글수 0 2023. 8. 1.
큰일 났다! Out of Sync다?!?! 큰일 났다! Out of Sync다?!?! Kafka Cluster를 운영하면 CMAK을 통해 Web에서 관리하는 경우가 많습니다. 저 역시 Kafka Cluster를 운영하면서 CMAK을 활용하고 있습니다. CMAK에서 Under Replicated가 0이 아닌 50으로 나온 경우가 발생하였습니다. Under Replicated가 0이 아니라는 것은 Topic의 Parition replicate가 설정한 대로 안된다는 것을 의미합니다. Out of Sync가 발생한 상황입니다. 실제로 Kafka 로그가 아래와 같이 발생하고 있었습니다. INFO [Partition __consumer_offsets-22 broker=3] Shrinking ISR from 1,3 to 3. Leader: (highWate.. 공감수 3 댓글수 0 2023. 7. 27.
Airflow Variables 세팅 - 전역변수 설정 Airflow Variables 세팅 Airflow를 사용하다 보면 한 DAG에서만 쓰는 변수가 아닌 코드값처럼 global 하게 쓰는 변수가 있을 수 있습니다. DAG내에서만 쓰면 XComs를 활용할 수 있습니다. global 하게 쓰는 전역 변수는 Variables로 설정할 수 있습니다. 이번 포스팅에서는 Airflow Variables에 대해서 소개해보려고 합니다. Variables 설정 Variables를 가장 간단하게 설정할 수 있는 방법은 Airflow WebServer에서 설정할 수 있습니다. [참고사이트] 더보기 Managing Variables — Airflow Documentation airflow.apache.org 공감수 0 댓글수 0 2023. 7. 23.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.