목록ALL (207)

JUST WRITE

명령어 한 번에 Kubernetes 설치하기(2) - AWS ENI를 이용한 설치

명령어 한 번에 Kubernetes 설치하기(2) 이전 포스팅에서 Terraform을 통해서 AWS EC2에 Kubernetes Cluster를 구성하였습니다. 명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치 명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간 developnote-blog.tistory.com 다만 Terraform으로 구성 후 추가적인 작업이 필요하였습니다. hostname 설정 /etc/hosts 세팅 - Master Node, Worker Node P..
MLOps/Kubernetes 2023. 10. 4. 21:26
뭐야?! No Space left on device?! - Airflow db clean

뭐야?! No Space left on device?! Airflow를 Kubernetes Cluster에 Helm으로 구성하여 운영하고 있습니다. Airflow Backend Database로는 PostgreSQL을 사용하고 있습니다. Product 단계에서는 외부에 구축된 PostgreSQL을 연결해 사용해야 합니다. 하지만 내부 사정으로 Helm에 포함된 PostgreSQL을 사용하고 있습니다. Airflow Helm Chart.lock 파일을 보면 Bitnami에서 제공하는 PostgreSQL을 사용합니다. dependencies: - name: postgresql repository: https://charts.bitnami.com/bitnami version: 12.10.0 digest: sh..
MLOps/Airflow 2023. 9. 20. 21:23
빠르게 더 빠르게!!! - AWS Placement Group

빠르게 더 빠르게!!! 빅데이터의 시대가 되면서 데이터를 처리해야 될 양이 많아지고 있습니다. 서버에서 감당해야 할 네트워크 트래픽도 높아지고 있습니다. 데이터 전송을 높이기 위해 네트워크 성능을 높이는 방법은 많지 않습니다. 특히나 요즘은 Cloud 환경에서 서버를 구성하는 경우가 많습니다. 그럼 Cloud 환경에서 네트워크 성능을 높이는 방안은 뭐가 있을까요? AWS Placement Group 여러 가지 Cloud 환경이 있지만 오늘 포스팅에서는 AWS 환경에서 방안입니다. AWS에서는 Placement Group(배치 그룹)이란 것이 있습니다. AWS에서 가장 많이 사용하는 서비스인 EC2에 적용되는 설정입니다. AWS AZ(가용영역)에서 제공해 주는 Cloud Computing Service입니..
Cloud 2023. 9. 13. 22:12
1개로 부족해, 2개의 IP로 접근하기

1개로 부족해, 2개의 IP로 접근하기 요즘 Cloud 환경에서 Server를 세팅하는 경우가 많습니다. Kafka 역시 Cloud 환경에서 운영하는 경우가 많습니다. Cloud 환경에서는 보통 Public Network, Private Network로 구성됩니다. 보안적으로 Public, Private 나눠서 구성하는 것이 좋습니다. Private Network는 내부에서만 접근하기 때문에 비교적 안전합니다. 그래도 외부에서 접근해야 될 경우도 있습니다. Public, Private IP로 모두 접근이 필요한 경우가 많습니다. Kafka도 Public, Private IP로 모두 접근하려면 어떻게 해야 할까요? Kafka Public/Private IP로 접근 Kafka 설정 중 Listener 관련 ..
MLOps/Kafka 2023. 9. 5. 21:10
Doc에 있는 JVM 설정 파헤치기

Doc에 있는 JVM 설정 파헤치기 Kafka를 운영하다 보면 설정해야 될게 한두 가지가 아닙니다. Broker, Partition, Retention, Compression 등 이외에도 신경 써야 할 게 너무 많습니다. 저도 운영을 하다 보니 점점 Kafka의 사용도가 커지고 데이터 처리량이 많아지고 있습니다. Kafka 데이터 처리 성능과 관련된 설정을 찾아보게 되었습니다. 여러 가지가 있었지만 저의 눈에 띄었던 거는 Java 관련 설정이었습니다. 이번 포스팅에서는 Kafka Document에 있는 JVM 설정 Argument를 하나하나 살펴보겠습니다. Kafka Java Kafka는 JVM 위에서 동작하는 Java와 Scala로 개발되었습니다. 그래서 Kafka 설치에 앞서 JVM 설치가 필수적입니..
MLOps/Kafka 2023. 8. 21. 21:03
Trino 한번 써보겠습니다(3) - AWS S3내 CSV 데이터 조회

Trino 한번 써보겠습니다(3) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Kubernetes Cluster에 Hive Metastore를 구성해서 AWS S3에 연결까지 해보았습니다. Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결 Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통 developnote-blog.tistory.com Trino 설치 Hive Metastore와 AWS S3 연결 AWS S3내 CSV 데이터 조회..
Data 2023. 8. 14. 15:01
Prev 1 2 3 4 5 6 7 ··· 35 Next