목록AWS (29)

JUST WRITE

Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..
Data 2023. 8. 9. 19:26
credentials 설정 안해도 되네?! - AWS EC2 IAM 연결

credentials 설정 안해도 되네?! Terraform을 통해서 AWS EC2를 생성하고 세팅하려면 권한이 필요합니다. 해당 권한을 AWS IAM을 통해서 생성하고 EC2에 aws configure를 통해서 설정하였습니다. 그러면 credetials 파일이 생성되어 해당 파일의 권한 정보로 EC2를 생성하였습니다. # 1. aws command $ aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: # 2. credentials 파일 생성 $ vi ~/.aws/credentials [default] aws_access_key..
Cloud 2023. 8. 3. 17:28
늘렸는데 늘어나지 않았습니다?! - AWS EBS 용량 늘리기

늘렸는데 늘어나지 않았습니다?! AWS EC2 4EA에 Kubernetes Cluster를 구축해서 사용 중에 있습니다. 비용을 최소한으로 하기 때문에 Disk, Memory를 최소한으로 사용하고 있습니다. 그러나 사용하다 보니 Pod이 제대로 실행되지 않았습니다. Pod이 Evicted 상태로 되었습니다. describe command로 Pod의 상태를 보면 DiskPressure로 인해서 Pod이 제대로 실행되지 않았습니다. Kubernetes Cluster의 Worker의 Disk를 늘려야 했습니다. 이번 포스팅에서는 AWS EBS 사이즈 늘린 후 적용하는 방법을 정리해 보도록 하겠습니다. EBS 용량 Up AWS EC2에 Kubernetes Cluster를 구성할 때, Docker Data와 Ku..
Cloud 2023. 8. 1. 18:56
[Ingress] ArgoCD UI 헷갈리지 않고 쉽게 접근하기

ArgoCD UI 헷갈리지 않고 쉽게 접근하기 Kubernetes내 Service를 외부에서 접근하도록 설정하는 가장 쉬운 방식은 NodePort 방법입니다. Service Port를 Control Plane의 Port에 포트포워딩을 통해 접근하게 해주는 방식입니다. service-nodeport-range(default: 30000~32767)내에서 Control Plane의 Port로 포트포워딩이 가능합니다. apiVersion: v1 kind: Service metadata: name: my-service spec: type: NodePort selector: app.kubernetes.io/name: MyApp ports: - port: 80 targetPort: 80 nodePort: 30007..
MLOps/Kubernetes 2023. 6. 4. 17:03
명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치

명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간편하게 할 수 있는 방법이 없을까 고민하다가 Terraform을 알게 되었습니다. Terraform을 활용하여 간편하게 Kubernetes Cluster를 구성하는 것을 정리해보려 합니다. (Terraform이 아닌 AWS EC2 다수의 인스턴스로 Kubernetes를 구성하는 것은 아래 포스팅 참조) AWS EC2 Kubernetes Cluster 설치(1) Kubeadm - containerd 설치 AWS EC2 Kubernetes Cluster 설치 이번 포스팅에서..
MLOps/Kubernetes 2023. 5. 23. 23:48
버전관리가 가능한 python 환경 세팅 - pyenv 설치

pyenv python으로 개발을 진행하다 보면 항상 버전 문제로 골머리를 앓게 됩니다. python이 제공하는 library가 정말 다양해서 편하기도 하지만 단점도 존재합니다. 필요한 python library가 특정 python 버전까지만 지원한다든지, python library와 종속된 library끼리 compatible 한 버전을 맞춰야 하는 발생 합니다. python에서 virtual 환경을 구성, 독립된 환경에서 다른 프로젝트에 영향이 없도록 세팅할 수 있습니다. venv라는 것을 기본적으로 제공해 줍니다. venv venv venv는 특정 Path에 Virtual Environment를 제공해주는 Python Package이다. Virtual Environment덕분에 경량화되고 고립된 환..
Programing/Python 2023. 4. 29. 12:56
Prev 1 2 3 4 5 Next