목록container toolkit (1)

JUST WRITE

Kubernetes에 GPU 노드 추가(1) - GPU 노드 세팅

GPU 노드 세팅컨테이너화된 애플리케이션이 주로 개발이 되면서 Kubernetes의 활용도가 높아지고 있습니다.AI 서비스 역시 Kubernetes에 배포, 운영되는 경우가 많아지고 있습니다.AI 서비스에서 인퍼런스(Inference) 성능을 위해 GPU 활용이 중요합니다.Kubernetes에 GPU 노드를 추가함으로써 AI 서비스 인퍼런싱시 GPU를 활용할 수 있습니다.사내에 마침 GPU를 가진 PC가 남아 있어 세팅을 해보았습니다.2개 포스팅을 통해 Kubernetes에 GPU 노드를 추가하는 방법을 정리하려고 합니다.이번 포스팅에서는 추가하기 전 GPU 노드 세팅하는 방법을 정리해보았습니다.GPU 노드 k8s Worker 세팅nvidia driver 및 Container Toolkit 설치lshw(..
MLOps/Kubernetes 2024. 5. 14. 15:17
Prev 1 Next