목록MLOps (53)

JUST WRITE

CoreDNS 설정 - Host 강제로 넣기

CoreDNS 설정 Bare Metal Server에서 Kubernetes Cluster를 구축하는 프로젝트에 참여하고 있습니다. DNS NameServer 역시 Private 환경에서 따로 구성하고 있었다. 보통 Public Network 환경이라면 ISP(Internet Service Provider)가 제공해 주거나 구글에서 제공하는 Name Server인 8.8.8.8을 사용한다. Kubernetes Cluster를 구성하면서 DNS 세팅 관련해서 작업한 것을 정리해보려 한다. Host 강제로 넣기 어떠한 방법으로 Pod에서 해당 DNS로 가지를 못했다. 그러다가 찾게 된 방법이 CoreDNS 설정에 Hostname를 강제로 박을 수 있었다. 실낱같은 희망으로 해당 방법으로 작업을 진행해 보았다...
MLOps/Kubernetes 2023. 2. 12. 18:04
Master Node HA 구성(2) - HAProxy 세팅

Master Node HA 구성(2) 지난 포스팅에 이어서 Kubernetes Master Node HA 구성을 하려고 합니다. keepalived를 통해 고가용성 서버를 세팅하였습니다. 이번에는 keepalived 뒷단에 HAProxy를 두어 부하 분산을 하도록 하였다. Master Node HA 구성(1) - keepalived 세팅 Master Node HA 구성(1) Bare Metal Server에 Kubernetes Cluster를 구축하는 업무를 맡게 되었습니다. 총 12대 Server를 1개의 Kubernetes Cluster로 구축하는 업무였습니다. 12대 중 3대를 Master Node, 9대를 Worker Node로 구 developnote-blog.tistory.com HAProxy..
MLOps/Kubernetes 2023. 2. 2. 22:16
Master Node HA 구성(1) - keepalived 세팅

Master Node HA 구성(1) Bare Metal Server에 Kubernetes Cluster를 구축하는 업무를 맡게 되었습니다. 총 12대 Server를 1개의 Kubernetes Cluster로 구축하는 업무였습니다. 12대 중 3대를 Master Node, 9대를 Worker Node로 구성하기로 하였습니다. Master Node를 다수로 구성함으로써 고가용성을 확보하기 위해서였습니다. keepalived와 HAProxy를 통해 Master Node HA 구성을 해보려고 합니다. 이번 포스팅에서는 먼저 keepalived 세팅을 정리해 보겠습니다. Master Node, Control Plane Kubernetes Cluster는 크게 2종류의 Server로 구성합니다. Master no..
MLOps/Kubernetes 2023. 2. 1. 23:53
Control Plane Components

Control Plane Components Kubernetes Cluster는 최소한 1개 이상의 Worker Node를 가진다. Worker Node에서 Pod를 생성하여 Application을 생성, 운영한다. Control Plane에서 Worker Node와 Node에서 생성한 Pod의 관리한다. Kubernetes Cluster 내에서 일어나는 Event를 체크, 대응하며 Scheduling 등의 역할을 한다. Control Plane인 Component들은 아래와 같다. kube-apiserver etcd kube-scheduler kube-controller-manager cloud-controller-manager kube-apiserver kube-apiserver는 kubernetes..
MLOps/Kubernetes 2023. 1. 21. 22:27
Kafka Broker Log 관리

Kafka Broker Log 관리 Kafka에서는 Log를 Topic Partition에 쌓이는 Data를 의미한다. 보통 System에서 Log는 System의 상황 파악을 위해 기록하는 정보이다. Kafka에서도 Broker에서 이런 Log를 기록하고 있다. server, connect, controller, user 등 다양한 Log를 기록하고 있다. 이런 Log 설정은 conf/log4j.properties에서 확인할 수 있다. $ cat /kafka/conf/log4j.properties ... log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppender log4j.appender.kafkaAppender.DatePattern=..
MLOps/Kafka 2023. 1. 10. 20:45
Ansible를 통한 Kafka 설치

Ansible를 통한 Kafka 설치 Kafka는 Cluster로 구성되기 때문에 Server마다 같은 작업을 반복해야 한다. Infra 자동화 구성 Tool인 Ansible을 통해 편하게 설치하는 작업을 해보려 한다. Ansible은 laC(Infrastructure as Code) 개념이 도입된 Tool로 Code를 통해 Infra 세팅을 도와준다. AWS EC2 3개의 Instance를 세팅하여 Kafka Cluster를 구성해보았다. Ansible 설치 먼저 첫번째 Server에 Ansible을 설치하였다. Ansible은 python기반이라 pip를 통해 설치가 가능하다. Ansible 버전별 필요한 python 버전은 아래 표에 정리하였다. Ansible Version Required Pyth..
MLOps/Kafka 2022. 12. 18. 22:01
Prev 1 ··· 3 4 5 6 7 8 9 Next