JUST WRITE

여기만 사용해! - 특정 Namespace 전용 User 생성

여기만 사용해! Github Action을 통해서 자동 배포 Workflow을 구성해보려고 합니다. 아래 step들로 workflow를 구성하려 합니다. 특정 조건일 때 Github Action Workflow 시작 docker image build Container Repository에 push 특정 Namespace에 Deployment에 새로운 build 한 image로 교체/재시작 사내에 구축된 Kubernetes Cluster에 배포까지 자동화 Workflow을 구성해보려고 합니다. 구성하기 앞서 특정 Namespace에 접근할 수 있는 ServiceAccount 생성이 필요하였습니다. 보통 Kubernetes Cluster 구축 시 생성한 관리자용 config로 접근을 합니다. $ mkdir ..
MLOps/Kubernetes 2024. 2. 15. 16:51
[Vision] Click 한 번에 Segmentation?! - CVAT에 SAM 적용

Click 한 번에 Segmentation?! Vision 프로젝트를 진행하면서 CVAT을 사용하고 있습니다. CVAT을 통해 이미지를 Labeling 작업을 진행하고 있습니다. CVAT을 통해 Auto Labeling 작업도 진행할 수 있지만 100% 원하는 대로 Labeling을 하지는 못합니다. 사용자가 수동으로 Labeling을 진행해야 하는 경우도 있습니다. bounding box가 아닌 segmentation으로 정교한 Labeling을 사용자가 하기 힘듭니다. segmentation도 수월하게 할 수 없을까 고민하다가 찾은 것이 SAM(Segment Anything Model)입니다. SAM을 활용하면 segmentation을 수월하게 할 수 있습니다. 이번 포스팅에서는 CVAT에 SAM을 ..
AI 2024. 1. 17. 11:15
데이터 언제까지 저장할꺼니?!?! - Kafka Log Retention

데이터 언제 저장할꺼니?!?! Kafka는 분산 메시지 시스템이자 Message Queue입니다. Kafka는 메시지를 받고 바로 지우지 않고 어느 정도 Broker에 저장합니다. 다양한 Consumer에서 메시지를 활용할 수도 있고 Network 문제 등 다양한 이유로 consuming에 시간이 걸리수도 있습니다. Kafka에서는 데이터 저장을 어떤식으로 관리할까요? 이번 포스팅에서는 Kafka 데이터 저장 관련 설정값을 정리해보도록 하겠습니다. Log Retention Kafka에서는 Broker에서 메시지를 받고 저장하는데, 저장한 Message를 Log라고 합니다. Broker나 Topic의 설정값에 따라서 Broker에서 Log를 어느 정도 저장할지 설정할 수 있습니다. Retention 관련 ..
MLOps/Kafka 2024. 1. 6. 21:08
어디까지 줄일 수 있니?! - Kafka Compression

어디까지 줄일 수 있니?! Kafka Cluster를 운영 업무를 맡아서 하고 있습니다. 여러 Cluster를 운영하고 있는데, 그중에서 해외 사이트에 설치된 Kafka Cluster도 있습니다. 해외사이트의 Kafka에서 국내로 Consuming해서 데이터를 처리해야 될 상황이었습니다. Network Bandwidth 때문에 아무리 Consuming 튜닝해도 데이터 전송에 제한이 있었습니다. 여러 가지 방안을 찾던 중 Message Compression을 좀 더 효과적으로 하는 방향을 고민해 보았습니다. 이번 포스팅에서는 위 이슈를 해결하기 위해 공부한 Message Compression을 정리해보려고 합니다. Kafka Compression Kafka는 실시간 데이터 처리하는 데 많이 사용되고 있습니..
MLOps/Kafka 2023. 12. 23. 18:19
Consumer야 살았니?! 죽었니?! - Kafka Consumer Heartbeats

Consumer야 살았니?! 죽었니?! Kafka Cluster를 운영하면서 다양한 상황에 직면하게 됩니다. 그중에서 가장 많은 경우가 Producer나 Consumer가 제대로 동작하지 않고 shutdown 되는 경우입니다. 이번에 다른 팀에서 Consumer를 처음 세팅하면서 조언을 구하는 경우가 있었습니다. Consumer가 자꾸 shutdown된다는 거였습니다. 전달받은 log를 살펴보면 Heartbeat Thread closed. 위 문구를 발견할 수 있었습니다. 몇가지 Consumer 세팅값 변경을 권유해 주었습니다. 이후 저는 위 문구에 있는 Heartbeat Thread에 대해 궁금증이 생겼습니다. Kafka Cluster에서 데이터(Lag)를 가져오려면 Consumer Client를 통해..
MLOps/Kafka 2023. 11. 27. 21:46
k8s 날 거부하지 마 - Certificate 만료 갱신

k8s 날 거부하지 마 Kubernetes Cluster를 운영하고 있습니다. Kubernetes Cluster에서 몇 가지 확인할 사항이 있어 kubectl command를 날렸습니다. 그런데 아래와 같은 Error가 나오면서 kubectl command가 되지 않았습니다. $ kubectl get ns Unable to connect to the server: x509: certificate has expired or is not yet valid: current time 2023-10-17T15:40:55+09:00 is after 2023-10-17T04:15:30Z 처음 겪어보는 일이라 너무 당황하였습니다. Log를 다시 살펴보니 인증서가 만료됐다는 것을 확인할 수 있었습니다. 이번 포스팅에서는..
MLOps/Kubernetes 2023. 10. 18. 16:19
Prev 1 2 3 4 5 6 ··· 35 Next