JUST WRITE

What is Nifi Open Source로 Data flow를 관리할 수 있는 Tool이다. Nifi는 Niagra Files의 준말로 NSA(National Security Agency)에서 개발하였다. Top-level Apache Project로 Hortonworks에서 지원하고 있다. Bigdata platform에서 분석 시 다양한 Datasource에서 데이터 통합 및 처리가 필요하다. ERP, CRM, 파일, Application, IoT 등 다양한 소스에서 데이터 처리가 필요하다. 다양한 소스에서 나오는 Bigdata를 분산 환경에서 처리할 수 있게 도와주는 강력한 Tool이다. 특징 Web UI에서 Data Flow를 수정할 수 있고 Monitoring 가능 Data 유실없이 Data..

AWS EC2 Kafka 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Kafka Cluster를 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.small로 구성하였다. 먼저 보안 그룹을 설정하였다. ssh 접속을 위해 22 port를 오픈하였고 인스턴스끼리 편하게 통신할 수 있도록 같은 보안그룹에 있는 인스턴스끼리 통신할 수 있도록 설정하였다. EC2 3개의 인스턴스가 성공적으로 실행이 되면 Kafka를 다운로드한다. 여기에서는 3.2.3 버전으로 설치를 진행한다.(Kafka Download) Java 설치 및 User 생성 Kafka 설치에 앞서 Java 설치가 필요하다. JDK는 11 버전을 설치를 진행하였다. Kafka는 1.8 이상이면 되지만 추후 CMAK 설치를 위해서..

What is MinIO MinIO는 분산 Object Storage이다. Open Source로 Private Cloud에 적합한 S3 성격의 Storage이다. Go 언어로 개발되었으며 Docker Image도 1억건 이상 pull한 유명한 Storage이다. 사진, 비디오, Log 등 비정형화된 데이터 저장에 적합하다. 특징 S3 API 호환 Erasure Coding을 통한 보안성 강화 Kubernetes 환경에서 설치 가능 Horizontal and Vertical scaling MinIO Console이라는 Web UI 제공 High availability(고가용성) MinIO 설치 MinIO Server 설치 Standalone 환경에서 설치를 진행하였다. MinIO User를 먼저 생성합니..

Topic Kafka에서 Topic은 record, data를 저장하는 곳이다. Kafka에서 data를 주고받을 때 Topic을 통해서 주고받는다. Topic 기본적으로 아래와 같은 특징을 가진다. Topic은 record를 log에 저장 record를 저장한 log는 partition으로 나눠어져 저장 가능 partition은 다수의 Server에 나눠어져 저장 가능 Topic Partitions Kafka는 Topic으로 들어온 record를 log에 저장한다. Topic의 log는 partition으로 나뉜다. 기본적으로 record의 key를 기준으로 parition에 나누어진다. record의 key는 record를 kafka에 전달한 producer가 record와 함께 전달한다. key가 ..

Kafka는 아래와 같은 구성 요소를 가진다. Records Topics Consumers Producers Brokers Logs Partitions Clusters Kafka가 어떻게 동작하는지와 구성요소들이 어떤 역할을 하는지 대략적으로 정리해보려 한다. Topics, Producers, Consumers Kafka의 주요한 역할은 Data를 받아서 전달하는 역할이다. 그 역할을 Topics, Producers, Consumers에서 한다. Producer -> publish 하는 Topic에 Data를 전달 Topic -> Log라는 구조로 디스크에 Data를 저장 Consumer -> Topic에 쌓인 Data를 읽어서 처리 Topic Partition, Consumer Group Topic에 ..

What is Kafka? Kafka는 publish-subscribe messaging queue, messaging system이다. Real-time streaming data architecture에 주로 사용된다. Kafka는 안정적이고 좋은 performance로 Spotify, Uber, Netflix 등 다양한 회사에서 사용되고 있다. Kafka는 분산 streaming 플랫폼으로 Fault tolerant, 장애에 대응할 수 있는 storage이기도 하다. Kafka 특징 so fast Kafka는 빠른 Data 이동을 위해 OS Kernel에 의존한다. Zero-copy를 통해 속도를 개선한다. Immutable commit log를 Disk에 순차적으로 저장한다. 이로 인해 Rando..