JUST WRITE

데이터 언제 저장할꺼니?!?! Kafka는 분산 메시지 시스템이자 Message Queue입니다. Kafka는 메시지를 받고 바로 지우지 않고 어느 정도 Broker에 저장합니다. 다양한 Consumer에서 메시지를 활용할 수도 있고 Network 문제 등 다양한 이유로 consuming에 시간이 걸리수도 있습니다. Kafka에서는 데이터 저장을 어떤식으로 관리할까요? 이번 포스팅에서는 Kafka 데이터 저장 관련 설정값을 정리해보도록 하겠습니다. Log Retention Kafka에서는 Broker에서 메시지를 받고 저장하는데, 저장한 Message를 Log라고 합니다. Broker나 Topic의 설정값에 따라서 Broker에서 Log를 어느 정도 저장할지 설정할 수 있습니다. Retention 관련 ..

Kafka Broker Log 관리 Kafka에서는 Log를 Topic Partition에 쌓이는 Data를 의미한다. 보통 System에서 Log는 System의 상황 파악을 위해 기록하는 정보이다. Kafka에서도 Broker에서 이런 Log를 기록하고 있다. server, connect, controller, user 등 다양한 Log를 기록하고 있다. 이런 Log 설정은 conf/log4j.properties에서 확인할 수 있다. $ cat /kafka/conf/log4j.properties ... log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppender log4j.appender.kafkaAppender.DatePattern=..

MariaDB 설치 MariaDB는 yum, apt로 쉽게 설치가 가능하다. 이번 포스팅에서는 공식 홈페이지에서 Binary를 Download로 하여 설치하는 과정을 정리하였다. MariaDB Download 공식 홈페이지에서 MariaDB 다운로드가 가능하다. 이번 포스팅에서는 10.6.9 버전으로 설치를 진행하였다. 공식 홈페이지에서 MariaDB Server를 적절한 버전과 OS를 선택하여 다운로드한다. $ wget https://archive.mariadb.org/mariadb-10.6.9/bintar-linux-systemd-x86_64/mariadb-10.6.9-linux-systemd-x86_64.tar.gz $ tar xzf mariadb-10.6.9-linux-systemd-x86_64...

Topic Kafka에서 Topic은 record, data를 저장하는 곳이다. Kafka에서 data를 주고받을 때 Topic을 통해서 주고받는다. Topic 기본적으로 아래와 같은 특징을 가진다. Topic은 record를 log에 저장 record를 저장한 log는 partition으로 나눠어져 저장 가능 partition은 다수의 Server에 나눠어져 저장 가능 Topic Partitions Kafka는 Topic으로 들어온 record를 log에 저장한다. Topic의 log는 partition으로 나뉜다. 기본적으로 record의 key를 기준으로 parition에 나누어진다. record의 key는 record를 kafka에 전달한 producer가 record와 함께 전달한다. key가 ..

Log는 프로그램의 Event 기록을 남기는 것이다. Log를 통해 프로그램의 동작 상태를 파악하거나 에러의 원인을 찾을 수 있다. Log는 기존의 Debugger나 println에 비해 아래와 같은 장점이 있다. 상황별로 Level를 지정, Level 별 메시지 선택 가능 프로그램 실행 흐름과 에러 확인 가능 framework를 이용하여 간단하게 사용환경 조성 Module별로 유연하게 메시지 출력 가능 자유롭고 다양하게 출력 가능 이번 글에서 대표적인 Java Log Framework를 소개하려고 합니다. Log4j Log4j(Log for Java) Apache Logging Service 하위 프로젝트이다. 현재 Log4j를 개선한 Log4j2 버전이 나왔다. Log4j2는 성능 향상은 물론 필터링..