목록kubernetes (36)

JUST WRITE

Machine Learning Operations Overview, Definition and Architecture

1. Why this paper? 데이터 거버넌스 관리 솔루션 개발자로 첫 커리어를 시작했습니다. 데이터를 다루다보니 자연스럽게 데이터에 깊은 관심을 가지게 되었고 데이터 엔지니어로 꿈을 꾸게 되었고 이직까지 하게 되었습니다. 이직 후 처음 접하게 된 MLOps는 엄청나게 크고 낯설게 큰 산 같았습니다. 팀장님의 소개로 알게 된 이 논문이 저에게 큰 도움이 되었습니다. 이번 포스팅을 통해 다시 한번 복기해 보며 MLOps에 대해 정리해보려 합니다. 2. Summary 해당 논문에서는 MLOps의 정의부터 Architecture까지 전반적인 부분에 대해 정리해주고 있습니다. MLOps의 정의 MLOps와 관련된 종사자들의 역할 MLOps Architecture MLOps와 관련된 Tool 소개 MLOps에..
Paper 2023. 2. 20. 20:42
NTP 설정

NTP 설정 Kubernetes Cluster를 구성하는 프로젝트를 진행하고 있다. Cluster를 구성하기 전에 신경 써야 할 부분이 Server 시간 동기화였다. Cluster로 구성되는 각 Server가 다른 시간대로 설정되어 있으면 문제를 일으킬 가능성이 높다. 이번 Kubernetes Cluster를 구성할 때도 각 Node의 시간 동기화 하는 작업을 진행하였다. What is NTP? Server의 시간동기화를 NTP 설정을 통해서 하였다. NTP는 Network Time Protocol로 컴퓨터 시스템 간 시간 동기화를 할 때 쓰이는 Protocol이다. RFC-5905에 정의되어 있다. 기본 NTP Server는 UTC(Coordinated Universal Time)으로 되어 있다. NT..
OS/Linux 2023. 2. 19. 11:15
Kubernets Cluster에 Worker Node 추가

Kubernetes Cluster에 Worker Node 추가 현재 Private Cloud 환경에서 Kubernetes Cluster를 구성하는 프로젝트를 진행하고 있다. 높은 사양으로 제공받다 보니 고려할 부분이 많았다. 한 Server에 Disk가 40개 정도 되니 관리 편하기 위해 RAID 구성을 요청하였는데, 여기서 문제가 생겨서 해당 Server를 Kubernetes Worker Node로 넣었다가 잠시 제거하였다. (어떤 문제였는지는 아래 포스팅에서 확인 가능!) RAID Disk 구성 - Spare Disk RAID Disk 구성 현재 Private Cloud 환경에서 Kubernete Cluster를 구성하는 프로젝트를 진행하고 있다. 제공받은 Server(AWS EC2와 같은)의 구성이..
MLOps/Kubernetes 2023. 2. 18. 21:02
CoreDNS 설정 - Host 강제로 넣기

CoreDNS 설정 Bare Metal Server에서 Kubernetes Cluster를 구축하는 프로젝트에 참여하고 있습니다. DNS NameServer 역시 Private 환경에서 따로 구성하고 있었다. 보통 Public Network 환경이라면 ISP(Internet Service Provider)가 제공해 주거나 구글에서 제공하는 Name Server인 8.8.8.8을 사용한다. Kubernetes Cluster를 구성하면서 DNS 세팅 관련해서 작업한 것을 정리해보려 한다. Host 강제로 넣기 어떠한 방법으로 Pod에서 해당 DNS로 가지를 못했다. 그러다가 찾게 된 방법이 CoreDNS 설정에 Hostname를 강제로 박을 수 있었다. 실낱같은 희망으로 해당 방법으로 작업을 진행해 보았다...
MLOps/Kubernetes 2023. 2. 12. 18:04
RAID Disk 구성 - Spare Disk

RAID Disk 구성 현재 Private Cloud 환경에서 Kubernete Cluster를 구성하는 프로젝트를 진행하고 있다. 제공받은 Server(AWS EC2와 같은)의 구성이 너무 좋아서 오히려 관리가 힘들 거 같았다. 자세한 Spec은 밝힐 수 없지만 Server별 Disk의 갯수가 12TB 용량 Disk가 40개였다. 40개를 각각 관리하기가 너무 힘들기 때문에 22개를 각각 11개씩 2 Set로 RAID로 구성하기로 하였다. 해당 담당자에게 11개씩 RAID5로 구성되도록 요청하였다. RAID5 vs RAID6 RAID는 Redundant Array of Inexpensive(Independent) Disk의 약자이다. RAID는 Disk 여러 개(Array of Disk)를 하나의 Di..
OS/Linux 2023. 2. 12. 16:47
Master Node HA 구성(1) - keepalived 세팅

Master Node HA 구성(1) Bare Metal Server에 Kubernetes Cluster를 구축하는 업무를 맡게 되었습니다. 총 12대 Server를 1개의 Kubernetes Cluster로 구축하는 업무였습니다. 12대 중 3대를 Master Node, 9대를 Worker Node로 구성하기로 하였습니다. Master Node를 다수로 구성함으로써 고가용성을 확보하기 위해서였습니다. keepalived와 HAProxy를 통해 Master Node HA 구성을 해보려고 합니다. 이번 포스팅에서는 먼저 keepalived 세팅을 정리해 보겠습니다. Master Node, Control Plane Kubernetes Cluster는 크게 2종류의 Server로 구성합니다. Master no..
MLOps/Kubernetes 2023. 2. 1. 23:53
Prev 1 2 3 4 5 6 Next