JUST WRITE

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..

credentials 설정 안해도 되네?! Terraform을 통해서 AWS EC2를 생성하고 세팅하려면 권한이 필요합니다. 해당 권한을 AWS IAM을 통해서 생성하고 EC2에 aws configure를 통해서 설정하였습니다. 그러면 credetials 파일이 생성되어 해당 파일의 권한 정보로 EC2를 생성하였습니다. # 1. aws command $ aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: # 2. credentials 파일 생성 $ vi ~/.aws/credentials [default] aws_access_key..

비용 절감을 위한 EC2 Scheduling AWS에서 가장 많이 사용하는 것이 EC2입니다. EC2는 기본적으로 사용하는 시간에 따라 비용을 부과합니다. 사용할 시간에만 사용하고 그 외 시간에는 중지하는 게 좋습니다. 비용 절감을 위해 EC2 인스턴스 Scheduling은 필수입니다. 이번 포스팅에서는 자동으로 EC2 인스턴스를 시작/중지할 수 있도록 Scheduling 하는 방법을 소개합니다. IAM 설정 EC2 Scheduling에서 먼저 해야할 것은 IAM 설정입니다. EC2를 시작하고 중지할 수 있는 권한을 만들어 AWS Lambda에서 EC2를 제어할 수 있게 해줘야 합니다. IAM에서 역할을 생성합니다. Lambda을 통해서 EC2를 시작/중지할 것이기 때문에 사용 사례를 Lambda로 선택..