JUST WRITE

Topic Kafka에서 Topic은 record, data를 저장하는 곳이다. Kafka에서 data를 주고받을 때 Topic을 통해서 주고받는다. Topic 기본적으로 아래와 같은 특징을 가진다. Topic은 record를 log에 저장 record를 저장한 log는 partition으로 나눠어져 저장 가능 partition은 다수의 Server에 나눠어져 저장 가능 Topic Partitions Kafka는 Topic으로 들어온 record를 log에 저장한다. Topic의 log는 partition으로 나뉜다. 기본적으로 record의 key를 기준으로 parition에 나누어진다. record의 key는 record를 kafka에 전달한 producer가 record와 함께 전달한다. key가 ..

Kafka는 아래와 같은 구성 요소를 가진다. Records Topics Consumers Producers Brokers Logs Partitions Clusters Kafka가 어떻게 동작하는지와 구성요소들이 어떤 역할을 하는지 대략적으로 정리해보려 한다. Topics, Producers, Consumers Kafka의 주요한 역할은 Data를 받아서 전달하는 역할이다. 그 역할을 Topics, Producers, Consumers에서 한다. Producer -> publish 하는 Topic에 Data를 전달 Topic -> Log라는 구조로 디스크에 Data를 저장 Consumer -> Topic에 쌓인 Data를 읽어서 처리 Topic Partition, Consumer Group Topic에 ..

What is Kafka? Kafka는 publish-subscribe messaging queue, messaging system이다. Real-time streaming data architecture에 주로 사용된다. Kafka는 안정적이고 좋은 performance로 Spotify, Uber, Netflix 등 다양한 회사에서 사용되고 있다. Kafka는 분산 streaming 플랫폼으로 Fault tolerant, 장애에 대응할 수 있는 storage이기도 하다. Kafka 특징 so fast Kafka는 빠른 Data 이동을 위해 OS Kernel에 의존한다. Zero-copy를 통해 속도를 개선한다. Immutable commit log를 Disk에 순차적으로 저장한다. 이로 인해 Rando..