목록Data (12)

JUST WRITE

[Trino] 너의 흔적을 기록하고 싶어 - 히스토리 데이터 영구 저장

Trino 히스토리 데이터 영구 저장사내에서 빅데이터 쿼리에 뛰어난 성능을 보여주는 Trino를 활용하고 있습니다.빅데이터 쿼리뿐만 아니라 다른 데이터베이스의 데이터끼리 조인이 가능합니다.현재 쿠버네티스 환경에 Trino를 구성해서 사용하고 있습니다. 다만 한 가지 문제가 있었습니다.presto 기반의 쿼리 엔진이라 메모리를 사용해서 로그성 데이터가 남지 않았습니다.따로 벡엔드 데이터베이스를 가지지 않습니다.Trino에서 쿼리 한 이력을 확인하는데 큰 제약이 있습니다.하지만 방법은 없는 것이 아닙니다.Trino에서 쿼리 이력을 저장할 수 있도록 제공해 주는데 따로 설정이 필요합니다.이번 포스팅에서는 Trino에서 쿼리 이력을 따로 저장하는 방법을 정리하도록 하겠습니다.Trino WEB UI이번 포스팅에서..
Data 2024. 11. 17. 15:10
Trino 한번 써보겠습니다(3) - AWS S3내 CSV 데이터 조회

Trino 한번 써보겠습니다(3) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Kubernetes Cluster에 Hive Metastore를 구성해서 AWS S3에 연결까지 해보았습니다. Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결 Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통 developnote-blog.tistory.com Trino 설치 Hive Metastore와 AWS S3 연결 AWS S3내 CSV 데이터 조회..
Data 2023. 8. 14. 15:01
Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..
Data 2023. 8. 9. 19:26
Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치

Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양한 곳에서, 큰 데이터를 한번에 조회해야 되서 어려워졌습니다. 다양한 곳의 빅데이터를 한 곳에서 조회할 수 있는 무언가가 필요해졌습니다. 그렇게 생겨난것이 분산 Query Engine입니다. 대표적인 분산 쿼리 엔진은 아래와 같습니다. Spark Thrift Server Apache Impala Apache Drill Presto Trino 요즘 가장 핫한 쿼리 엔진인 Trino를 직접 설치해 보고 사용해보려 합니다. 총 3개의 포스팅으로 나눠서 진행해보려고 합니다. Trino 설치 Hive Met..
Data 2023. 7. 17. 20:18
GlusterFS 설치

GlusterFS 설치 고객사에 요청에 의해서 Active-Active 한 File Server 구성을 요청받았습니다. 주어진 Server는 OS가 Oracle Linux 7인 Server 2개였습니다. 몇 가지 후보군 중에 GlusterFS 통해 File Server를 구성하기로 하였습니다. What is GlusterFS GlusterFS는 Open Source로 분산 File System입니다. Metadata를 따로 가지고 있지 않는 것이 큰 특징입니다. Gluster Volume을 통해 File을 관리하게 됩니다. Gluster Volume은 Server내에 구성한 Brick들로 구성됩니다. Gluster Volume의 종류는 아래와 같습니다. Distributed Volume -> 각 Bric..
Data 2023. 2. 26. 16:27
AWS EC2 Nifi 설치

AWS EC2 Nifi 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Nifi Cluster 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.large로 구성하였다. Nifi 설치에 앞서 각 EC2 인스턴스 필요한 부분을 구성하였다. Java 설치 Nifi는 Java로 개발되어 JDK 설치가 필요하다. OpenJDK 11 버전을 각 EC2 인스턴스에 설치하였다. $ wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz $ tar xzf openjdk-11.0.2_linux-x64_bin.tar.gz $ vi ~/.bash_profile export JAVA_HOME=$HOME/jd..
Data 2022. 11. 23. 23:56
Prev 1 2 Next