JUST WRITE

Kafka야?!! 데이터 잘 처리하고 있니?! 실시간 데이터 처리를 위해 Kafka를 운영하고 있습니다. Kafka 모니터링을 위해 주로 Prometheus, Grafana를 통해서 합니다. Kafka Exporter로 Metric을 수집, Prometheus로 보내고 Grafana에서 Dashboard를 구성해서 모니터링합니다. 보통 Topic별로 들어오는 데이터의 Bytes양, Topic의 Consumer의 Lag 등을 모니터링합니다. 이 방법 말고 Kafka가 데이터를 잘 처리하고 있는지 알 수 있는 방법이 이거밖에 없는지 궁금하였습니다. 그러다가 찾은 방법이 있었습니다. Kafka 자체적으로 Performance를 테스트할 수 있는 방법이 있었습니다. 이번 포스팅에서 자체적으로 Kafka를 테스트..

What is CI/CD? CI/CD는 Application 개발부터 배포까지 모든 단계를 자동화해서 빠르게 사용자에게 배포하는 것을 말한다. CI는 Continuous Integration 지속적인 통합이고, CD는 Continuous Delibery 지속적인 제공, Continuous Deployment 지속적인 배포를 의미한다. CI Continuous Integreation CI는 주기적으로 개발 Code가 Repository에 반영 -> Build -> Test -> Merge까지 되는 것을 말한다. CI가 효과적으로 진행되려면 2가지 사항이 중요하다. 빈번하고 작은 단위 Code 반영 코드 변경사항을 반영하는 것이 주기적으로 빈번하게 이루어져야 한다. 변경 사항이 작은 단위로 반영되어야 한다...