목록Scala (2)

JUST WRITE

UI로 Kafka 관리하기

CMAK 설치 Kafka Cluster를 구축하고 나서 Kafka Broker를 컨트롤하려면 기본적으로 command로 컨트롤합니다. Kafka Bin 폴더 아래에 다양한 script를 제공해 줍니다. $ ll ~/kafka/bin -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-distributed.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-mirror-maker.sh -rwxr-xr-x 1 kafka kafka 1.4K Dec 21 21:14 connect-standalone.sh -rwxr-xr-x 1 kafka kafka 861 Dec 21 21:14 kafka-acls.sh -rwxr-xr-x 1 k..
MLOps/Kafka 2023. 3. 16. 17:25
AWS EC2 Kafka 설치

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..
MLOps/Kafka 2022. 11. 13. 21:50
Prev 1 Next