목록ALL (210)

JUST WRITE

UI로 Kafka 관리하기

CMAK 설치 Kafka Cluster를 구축하고 나서 Kafka Broker를 컨트롤하려면 기본적으로 command로 컨트롤합니다. Kafka Bin 폴더 아래에 다양한 script를 제공해 줍니다. $ ll ~/kafka/bin -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-distributed.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-mirror-maker.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-standalone.sh -rwxr-xr-x 1 kafka kafka 861 Dec 21 21:14 kafka-acls.sh -rwxr-xr-x 1 k..
Infra/Kafka 2023. 3. 16. 17:25
Feature Store 필요해?!

저번 포스팅에서 MLOps에 대해서 하나하나 살펴보았습니다. 논문을 통해 MLOps의 전체적인 흐름과 아키텍처에 대해 알아보았습니다. Machine Learning Operations Overview, Definition and Architecture 1. Why this paper? 데이터 거버넌스 관리 솔루션 개발자로 첫 커리어를 시작했습니다. 데이터를 다루다보니 자연스럽게 데이터에 깊은 관심을 가지게 되었고 데이터 엔지니어로 꿈을 꾸게 되었고 developnote-blog.tistory.com 이번 포스팅에서는 MLOps에서 중요한 component 중 하나인 Feature store에 대해 정리해보려 합니다. 저번 포스팅에서 언급만 되었고 자세히 살펴보지 않았습니다. ETRI에서 Feature S..
Paper 2023. 3. 7. 22:49
GlusterFS 설치

GlusterFS 설치 고객사에 요청에 의해서 Active-Active 한 File Server 구성을 요청받았습니다. 주어진 Server는 OS가 Oracle Linux 7인 Server 2개였습니다. 몇 가지 후보군 중에 GlusterFS 통해 File Server를 구성하기로 하였습니다. What is GlusterFS GlusterFS는 Open Source로 분산 File System입니다. Metadata를 따로 가지고 있지 않는 것이 큰 특징입니다. Gluster Volume을 통해 File을 관리하게 됩니다. Gluster Volume은 Server내에 구성한 Brick들로 구성됩니다. Gluster Volume의 종류는 아래와 같습니다. Distributed Volume -> 각 Bric..
Data 2023. 2. 26. 16:27
특정 Node에 Pod 스케줄링

특정 Node에 Pod 스케줄링 Kubernetes에 Python으로 짠 Process를 여러 개 구동할 업무가 주어졌습니다. 해당 Process는 법인별로 1~3개씩 구동해야되서 다수의 Process를 구동해야 했습니다. Kubernetes Cluster에서 자체적으로 Node의 상태에 맞게 Pod을 Node에 배치하게 됩니다. 이번 Python Process가 법인 상황에 따라 많은 Resource를 차지할 수 있는 상황이었습니다. 그래서 해당 Process의 Pod이 Node들에 적절하게 분배될 수 있도록 구성해 보았습니다. affinity를 이용한 스케줄링 첫 번째 시도한 방식은 affinity를 이용한 방식이었습니다. affinity는 사전적 의미로 선호도라고 합니다. Label를 통해서 선호도..
Infra/Kubernetes 2023. 2. 26. 13:20
Machine Learning Operations Overview, Definition and Architecture

1. Why this paper? 데이터 거버넌스 관리 솔루션 개발자로 첫 커리어를 시작했습니다. 데이터를 다루다보니 자연스럽게 데이터에 깊은 관심을 가지게 되었고 데이터 엔지니어로 꿈을 꾸게 되었고 이직까지 하게 되었습니다. 이직 후 처음 접하게 된 MLOps는 엄청나게 크고 낯설게 큰 산 같았습니다. 팀장님의 소개로 알게 된 이 논문이 저에게 큰 도움이 되었습니다. 이번 포스팅을 통해 다시 한번 복기해 보며 MLOps에 대해 정리해보려 합니다. 2. Summary 해당 논문에서는 MLOps의 정의부터 Architecture까지 전반적인 부분에 대해 정리해주고 있습니다. MLOps의 정의 MLOps와 관련된 종사자들의 역할 MLOps Architecture MLOps와 관련된 Tool 소개 MLOps에..
Paper 2023. 2. 20. 20:42
NTP 설정

NTP 설정 Kubernetes Cluster를 구성하는 프로젝트를 진행하고 있다. Cluster를 구성하기 전에 신경 써야 할 부분이 Server 시간 동기화였다. Cluster로 구성되는 각 Server가 다른 시간대로 설정되어 있으면 문제를 일으킬 가능성이 높다. 이번 Kubernetes Cluster를 구성할 때도 각 Node의 시간 동기화 하는 작업을 진행하였다. What is NTP? Server의 시간동기화를 NTP 설정을 통해서 하였다. NTP는 Network Time Protocol로 컴퓨터 시스템 간 시간 동기화를 할 때 쓰이는 Protocol이다. RFC-5905에 정의되어 있다. 기본 NTP Server는 UTC(Coordinated Universal Time)으로 되어 있다. NT..
OS/Linux 2023. 2. 19. 11:15
Prev 1 ··· 7 8 9 10 11 12 13 ··· 35 Next