JUST WRITE

120TB Disk EXT4로 포맷

120TB Disk Ext4로 포맷 11개의 Disk를 RAID5로 묶여 있는 120TB Disk를 EXT4로 포맷을 시켜야 되는 미션이 생겼다. 대용량에 RAID5로 구성되어 있는 Disk 포맷은 처음이라 난감했었다. 이번 포스팅에서 한번 정리해보려 한다. Disk 확인 해당 Disk는 xfs 타입이었다. RAID 구성은 아래 명령어로 확인할 수 있다. /dev/md2가 sdm1 ~ sdc1까지 총 11개 Disk를 RAID5로 묶인 것을 알 수 있다. # RAID 구성정보들 확인 $ cat /proc/mdstat Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] ... md2 : active rai..
OS/Linux 2023. 1. 18. 00:12
Kafka Broker Log 관리

Kafka Broker Log 관리 Kafka에서는 Log를 Topic Partition에 쌓이는 Data를 의미한다. 보통 System에서 Log는 System의 상황 파악을 위해 기록하는 정보이다. Kafka에서도 Broker에서 이런 Log를 기록하고 있다. server, connect, controller, user 등 다양한 Log를 기록하고 있다. 이런 Log 설정은 conf/log4j.properties에서 확인할 수 있다. $ cat /kafka/conf/log4j.properties ... log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAppender log4j.appender.kafkaAppender.DatePattern=..
MLOps/Kafka 2023. 1. 10. 20:45
MariaDB 설치

MariaDB 설치 MariaDB는 yum, apt로 쉽게 설치가 가능하다. 이번 포스팅에서는 공식 홈페이지에서 Binary를 Download로 하여 설치하는 과정을 정리하였다. MariaDB Download 공식 홈페이지에서 MariaDB 다운로드가 가능하다. 이번 포스팅에서는 10.6.9 버전으로 설치를 진행하였다. 공식 홈페이지에서 MariaDB Server를 적절한 버전과 OS를 선택하여 다운로드한다. $ wget https://archive.mariadb.org/mariadb-10.6.9/bintar-linux-systemd-x86_64/mariadb-10.6.9-linux-systemd-x86_64.tar.gz $ tar xzf mariadb-10.6.9-linux-systemd-x86_64...
Database 2023. 1. 9. 23:24
Proxy vs Reverse Proxy

Proxy vs Reverse Proxy System을 구성할 때 Network Traffic을 잘 처리하기 위해 Proxy Server를 구성한다. 근데 Proxy Server 말고 Reverse Proxy Server도 존재한다. 두 Proxy Sever의 차이가 무엇인지 이번 글을 통해 정리해보려 한다. Proxy Server 보통 Forward Proxy Server로 많이 통용되고 있다. Clinet와 Server 중간에서 Traffic을 route, 중계하는 역할을 한다. Server로 오는 Traffic에 대한 정책을 만들거나 통제를 한다. Traffic 정책 만들어 정책에 따라 통제 Client IP 변환 Security 프로토콜 강화 Load Balance 등의 기능을 통해 System ..
Network 2022. 12. 31. 11:33
Ansible를 통한 Kafka 설치

Ansible를 통한 Kafka 설치 Kafka는 Cluster로 구성되기 때문에 Server마다 같은 작업을 반복해야 한다. Infra 자동화 구성 Tool인 Ansible을 통해 편하게 설치하는 작업을 해보려 한다. Ansible은 laC(Infrastructure as Code) 개념이 도입된 Tool로 Code를 통해 Infra 세팅을 도와준다. AWS EC2 3개의 Instance를 세팅하여 Kafka Cluster를 구성해보았다. Ansible 설치 먼저 첫번째 Server에 Ansible을 설치하였다. Ansible은 python기반이라 pip를 통해 설치가 가능하다. Ansible 버전별 필요한 python 버전은 아래 표에 정리하였다. Ansible Version Required Pyth..
MLOps/Kafka 2022. 12. 18. 22:01
Kubectl auto-completion 세팅

Kubectl auto-completion 세팅 Kubernetes는 Kubectl라는 CLI(Command Line Interface)를 가지고 있다. Kubectl을 통해 Kubernetes를 control 할 수 있다. 많이 사용하게 되다 보니 편하게 쓸 수 있도록 자동 완성 기능을 지원한다. bash-completion을 통해 kubectl 자동 완성이 가능하다. 먼저 bash-completion 설치를 해줘야 한다. $ sudo apt install bash-completion 그다음 User bashrc 파일에 해당 라인을 추가해준다. kubectl 자동 완성 script를 추가해주는 것이다. $ echo 'source
MLOps/Kubernetes 2022. 12. 2. 15:41
Prev 1 ··· 9 10 11 12 13 14 15 ··· 35 Next