목록ALL (210)

JUST WRITE

1개로 부족해, 2개의 IP로 접근하기

1개로 부족해, 2개의 IP로 접근하기 요즘 Cloud 환경에서 Server를 세팅하는 경우가 많습니다. Kafka 역시 Cloud 환경에서 운영하는 경우가 많습니다. Cloud 환경에서는 보통 Public Network, Private Network로 구성됩니다. 보안적으로 Public, Private 나눠서 구성하는 것이 좋습니다. Private Network는 내부에서만 접근하기 때문에 비교적 안전합니다. 그래도 외부에서 접근해야 될 경우도 있습니다. Public, Private IP로 모두 접근이 필요한 경우가 많습니다. Kafka도 Public, Private IP로 모두 접근하려면 어떻게 해야 할까요? Kafka Public/Private IP로 접근 Kafka 설정 중 Listener 관련 ..
Infra/Kafka 2023. 9. 5. 21:10
Doc에 있는 JVM 설정 파헤치기

Doc에 있는 JVM 설정 파헤치기 Kafka를 운영하다 보면 설정해야 될게 한두 가지가 아닙니다. Broker, Partition, Retention, Compression 등 이외에도 신경 써야 할 게 너무 많습니다. 저도 운영을 하다 보니 점점 Kafka의 사용도가 커지고 데이터 처리량이 많아지고 있습니다. Kafka 데이터 처리 성능과 관련된 설정을 찾아보게 되었습니다. 여러 가지가 있었지만 저의 눈에 띄었던 거는 Java 관련 설정이었습니다. 이번 포스팅에서는 Kafka Document에 있는 JVM 설정 Argument를 하나하나 살펴보겠습니다. Kafka Java Kafka는 JVM 위에서 동작하는 Java와 Scala로 개발되었습니다. 그래서 Kafka 설치에 앞서 JVM 설치가 필수적입니..
Infra/Kafka 2023. 8. 21. 21:03
Trino 한번 써보겠습니다(3) - AWS S3내 CSV 데이터 조회

Trino 한번 써보겠습니다(3) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Kubernetes Cluster에 Hive Metastore를 구성해서 AWS S3에 연결까지 해보았습니다. Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결 Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통 developnote-blog.tistory.com Trino 설치 Hive Metastore와 AWS S3 연결 AWS S3내 CSV 데이터 조회..
Data 2023. 8. 14. 15:01
Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..
Data 2023. 8. 9. 19:26
Pod 주기적으로 삭제하기 - Kubernetes에 CronJob 세팅

Pod 주기적으로 삭제하기 Kubernetes Cluster에 CVAT을 Helm으로 설치하여 운영하고 있습니다. Kubernetes에 CVAT 설치하기 - Helm으로 CVAT 설치 Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 developnote-blog.tistory.com CVAT을 사용하다 보니 설치한 namespace에 많은 수 Pod이 생성되어 있었습니다. STATUS가 Completed 상태의 Pod이 많이 남아 있었습니다. Completed는 Pod내 Contai..
Infra/Kubernetes 2023. 8. 6. 18:57
credentials 설정 안해도 되네?! - AWS EC2 IAM 연결

credentials 설정 안해도 되네?! Terraform을 통해서 AWS EC2를 생성하고 세팅하려면 권한이 필요합니다. 해당 권한을 AWS IAM을 통해서 생성하고 EC2에 aws configure를 통해서 설정하였습니다. 그러면 credetials 파일이 생성되어 해당 파일의 권한 정보로 EC2를 생성하였습니다. # 1. aws command $ aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: # 2. credentials 파일 생성 $ vi ~/.aws/credentials [default] aws_access_key..
Cloud 2023. 8. 3. 17:28
Prev 1 2 3 4 5 6 7 8 ··· 35 Next