JUST WRITE

어디까지 줄일 수 있니?! Kafka Cluster를 운영 업무를 맡아서 하고 있습니다. 여러 Cluster를 운영하고 있는데, 그중에서 해외 사이트에 설치된 Kafka Cluster도 있습니다. 해외사이트의 Kafka에서 국내로 Consuming해서 데이터를 처리해야 될 상황이었습니다. Network Bandwidth 때문에 아무리 Consuming 튜닝해도 데이터 전송에 제한이 있었습니다. 여러 가지 방안을 찾던 중 Message Compression을 좀 더 효과적으로 하는 방향을 고민해 보았습니다. 이번 포스팅에서는 위 이슈를 해결하기 위해 공부한 Message Compression을 정리해보려고 합니다. Kafka Compression Kafka는 실시간 데이터 처리하는 데 많이 사용되고 있습니..

빠르게 더 빠르게!!! 빅데이터의 시대가 되면서 데이터를 처리해야 될 양이 많아지고 있습니다. 서버에서 감당해야 할 네트워크 트래픽도 높아지고 있습니다. 데이터 전송을 높이기 위해 네트워크 성능을 높이는 방법은 많지 않습니다. 특히나 요즘은 Cloud 환경에서 서버를 구성하는 경우가 많습니다. 그럼 Cloud 환경에서 네트워크 성능을 높이는 방안은 뭐가 있을까요? AWS Placement Group 여러 가지 Cloud 환경이 있지만 오늘 포스팅에서는 AWS 환경에서 방안입니다. AWS에서는 Placement Group(배치 그룹)이란 것이 있습니다. AWS에서 가장 많이 사용하는 서비스인 EC2에 적용되는 설정입니다. AWS AZ(가용영역)에서 제공해 주는 Cloud Computing Service입니..

Worker Node join 에러 - CNI 이슈 Kubernetes Cluster를 구성하고 Server를 다시 세팅해야 돼서 Worker Node를 제거한 적이 있습니다. Server를 다시 세팅하고 해당 Server를 다시 Worker Node로 추가하였습니다. 하지만 무슨 이유인지 아래와 같은 에러가 나면서 해당 Node에서 Pod이 실행되지 않았습니다. Failed to create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "c630e66c3967b10c2d0069117b719d6241c9a0a68b6f21b89f7f90f55c425bc4" network for pod "continuous-..

통신 방식 Network에서 Data를 전송할 때 사용하는 통신 방식에는 4가지가 있다. Unicast Broadcast Multicast Anycast Unicast Unicast는 출발지와 목적지가 명확히 하나로 정해져 있는 1:1 방식이다. 대부분의 Network 통신은 Unicast 방식이다. Broadcast Broadast는 로컬 Network내 모든 Host들에게 Packet 전달하는 방식이다. Network내 Broadcast용 주소가 따로 존재한다. 모든 Host에서 Packet을 받고 처리해야 하기 때문에 성능 저하 이슈가 있다. 보통 Unicast 전 상대방의 정확한 위치를 알기 위해 사용한다. Multicast Multicast는 Newtork내 전체가 아닌 Group에게 Packe..

2020년에 다니고 있는 회사 내부 프로젝트에서 기술적인 부분만 발췌해서 정리한 글입니다. Docker Compose Compose는 다수의 Container를 정의하고 실행시킬 수 있는 Tool이다. YAML 파일을 통해 한 번의 command로 다수의 Container를 실행할 수 있다.Compose command로 아래 사항을 Manage 할 수 있다. Container 시작, 중지, Rebuild 실행 중인 Container 상태 실행 중인 Container Log Container에 명령 수행 Docker Compose의 자세한 사항은 따로 정리하겠다. 제품 Docker Compose 구성 docker-compose.yml version: '3.2' services: repo: image: po..