JUST WRITE

Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..
Data 2023. 8. 9. 19:26
Pod 주기적으로 삭제하기 - Kubernetes에 CronJob 세팅

Pod 주기적으로 삭제하기 Kubernetes Cluster에 CVAT을 Helm으로 설치하여 운영하고 있습니다. Kubernetes에 CVAT 설치하기 - Helm으로 CVAT 설치 Kubernetes에 CVAT 설치하기 Yolo 모델 학습에 도전하였던 포스팅에서 Auto Labeling Tool로 CVAT을 사용하였습니다. [Vision] 엔지니어의 Yolo 도전기(1) - CVAT을 통한 Auto Labeling 엔지니어의 Yolo 도전기 회사에서 developnote-blog.tistory.com CVAT을 사용하다 보니 설치한 namespace에 많은 수 Pod이 생성되어 있었습니다. STATUS가 Completed 상태의 Pod이 많이 남아 있었습니다. Completed는 Pod내 Contai..
MLOps/Kubernetes 2023. 8. 6. 18:57
credentials 설정 안해도 되네?! - AWS EC2 IAM 연결

credentials 설정 안해도 되네?! Terraform을 통해서 AWS EC2를 생성하고 세팅하려면 권한이 필요합니다. 해당 권한을 AWS IAM을 통해서 생성하고 EC2에 aws configure를 통해서 설정하였습니다. 그러면 credetials 파일이 생성되어 해당 파일의 권한 정보로 EC2를 생성하였습니다. # 1. aws command $ aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: # 2. credentials 파일 생성 $ vi ~/.aws/credentials [default] aws_access_key..
Cloud 2023. 8. 3. 17:28
늘렸는데 늘어나지 않았습니다?! - AWS EBS 용량 늘리기

늘렸는데 늘어나지 않았습니다?! AWS EC2 4EA에 Kubernetes Cluster를 구축해서 사용 중에 있습니다. 비용을 최소한으로 하기 때문에 Disk, Memory를 최소한으로 사용하고 있습니다. 그러나 사용하다 보니 Pod이 제대로 실행되지 않았습니다. Pod이 Evicted 상태로 되었습니다. describe command로 Pod의 상태를 보면 DiskPressure로 인해서 Pod이 제대로 실행되지 않았습니다. Kubernetes Cluster의 Worker의 Disk를 늘려야 했습니다. 이번 포스팅에서는 AWS EBS 사이즈 늘린 후 적용하는 방법을 정리해 보도록 하겠습니다. EBS 용량 Up AWS EC2에 Kubernetes Cluster를 구성할 때, Docker Data와 Ku..
Cloud 2023. 8. 1. 18:56
큰일 났다! Out of Sync다?!?!

큰일 났다! Out of Sync다?!?! Kafka Cluster를 운영하면 CMAK을 통해 Web에서 관리하는 경우가 많습니다. 저 역시 Kafka Cluster를 운영하면서 CMAK을 활용하고 있습니다. CMAK에서 Under Replicated가 0이 아닌 50으로 나온 경우가 발생하였습니다. Under Replicated가 0이 아니라는 것은 Topic의 Parition replicate가 설정한 대로 안된다는 것을 의미합니다. Out of Sync가 발생한 상황입니다. 실제로 Kafka 로그가 아래와 같이 발생하고 있었습니다. INFO [Partition __consumer_offsets-22 broker=3] Shrinking ISR from 1,3 to 3. Leader: (highWate..
MLOps/Kafka 2023. 7. 27. 22:32
Airflow Variables 세팅 - 전역변수 설정

Airflow Variables 세팅 Airflow를 사용하다 보면 한 DAG에서만 쓰는 변수가 아닌 코드값처럼 global 하게 쓰는 변수가 있을 수 있습니다. DAG내에서만 쓰면 XComs를 활용할 수 있습니다. global 하게 쓰는 전역 변수는 Variables로 설정할 수 있습니다. 이번 포스팅에서는 Airflow Variables에 대해서 소개해보려고 합니다. Variables 설정 Variables를 가장 간단하게 설정할 수 있는 방법은 Airflow WebServer에서 설정할 수 있습니다. [참고사이트] 더보기 Managing Variables — Airflow Documentation airflow.apache.org
MLOps/Airflow 2023. 7. 23. 15:14
Prev 1 2 3 4 5 6 7 8 ··· 35 Next