JUST WRITE

Kubectl auto-completion 세팅 Kubernetes는 Kubectl라는 CLI(Command Line Interface)를 가지고 있다. Kubectl을 통해 Kubernetes를 control 할 수 있다. 많이 사용하게 되다 보니 편하게 쓸 수 있도록 자동 완성 기능을 지원한다. bash-completion을 통해 kubectl 자동 완성이 가능하다. 먼저 bash-completion 설치를 해줘야 한다. $ sudo apt install bash-completion 그다음 User bashrc 파일에 해당 라인을 추가해준다. kubectl 자동 완성 script를 추가해주는 것이다. $ echo 'source

Kubeadm - Master, Worker 설정 Kubernetes Cluster 모든 Node에 containerd 설치가 완료하고 나면 이제 Kubeadm 설치하고 Kubeadm을 통해 Kubernetes Master, Worker 설정을 하겠다. Kubeadm 설치 모든 Node에 Kubeadm과 필요한 패키지를 설치한다. 설치가 필요한 패키지는 아래와 같다. Kubeadm : Kubernetes Cluster를 Bootstrap Kubelet : Node내 Pod의 Container를 각종 작업을 수행 Kubectl : Kubernetes Cluster를 control 할 수 있는 command interface 위 패키지를 설치하기 위해 Kubernetes apt Repository를 추가한다..

AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서는 AWS EC2 인스턴스 4개에 Kubernetes Cluster를 구성해보았다. 각 인스턴스는 Ubuntu Sever 22.04에 t3.large로 구성하였다. 1개의 Master와 3개의 Worker로 구성하였다. Kubernetes Cluster를 구성하는 방법은 여러 가지가 있지만 Kubeadm으로 구성하였다. Kubernetes Cluster 구성에 첫번째인 containerd 설치에 대해 정리하였다. 준비 containerd 설치 전에 몇가지 설정을 하였다. hostname 설정 swap off Kernel Module 추가 hostname 설정 Kubernetes node의 hostname을 설정을 해 주는 것이 좋다. n..

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..

Topic Kafka에서 Topic은 record, data를 저장하는 곳이다. Kafka에서 data를 주고받을 때 Topic을 통해서 주고받는다. Topic 기본적으로 아래와 같은 특징을 가진다. Topic은 record를 log에 저장 record를 저장한 log는 partition으로 나눠어져 저장 가능 partition은 다수의 Server에 나눠어져 저장 가능 Topic Partitions Kafka는 Topic으로 들어온 record를 log에 저장한다. Topic의 log는 partition으로 나뉜다. 기본적으로 record의 key를 기준으로 parition에 나누어진다. record의 key는 record를 kafka에 전달한 producer가 record와 함께 전달한다. key가 ..

Kafka는 아래와 같은 구성 요소를 가진다. Records Topics Consumers Producers Brokers Logs Partitions Clusters Kafka가 어떻게 동작하는지와 구성요소들이 어떤 역할을 하는지 대략적으로 정리해보려 한다. Topics, Producers, Consumers Kafka의 주요한 역할은 Data를 받아서 전달하는 역할이다. 그 역할을 Topics, Producers, Consumers에서 한다. Producer -> publish 하는 Topic에 Data를 전달 Topic -> Log라는 구조로 디스크에 Data를 저장 Consumer -> Topic에 쌓인 Data를 읽어서 처리 Topic Partition, Consumer Group Topic에 ..