JUST WRITE

Client VPN 구성 보안을 위해 AWS Cloud 리소스 일부를 Private Subnet내에 구성하였습니다. 보통 AWS 리소스의 네트워크 접근을 제한할 때 보안그룹 inbound 설정을 통해서 합니다. Private Subnet 구성을 통해서 네트워크 접근을 막을 수 있습니다. Private Subnet을 생성해서 subnet 안에서만 접근할 수 있도록 설정하는 것입니다. 기본으로 생성되어 있는 subnet은 Internet Gateway를 통해 외부에서 접근 가능합니다. Private Subnet은 구성시 Internet Gateway를 연결하지 않고 라우팅 테이블 설정을 통해 subnet 내부에서만 통신하도록 설정합니다. 하지만 subnet 외부에서 접근을 해야 될 경우도 있습니다. 그래서 ..

명령어 한 번에 Kubernetes 설치하기(2) 이전 포스팅에서 Terraform을 통해서 AWS EC2에 Kubernetes Cluster를 구성하였습니다. 명령어 한 번에 Kubernetes 설치하기 - Terraform으로 Kubernetes 설치 명령어 한 번에 Kubernetes 설치하기 개발 환경을 자주 구성하다 보니 Kubernetes Cluster를 구성하는 일이 많았습니다. Kubernetes Cluster 구성은 단계도 많고 쉽지 않아 할 때마다 새로웠습니다. 구성을 간 developnote-blog.tistory.com 다만 Terraform으로 구성 후 추가적인 작업이 필요하였습니다. hostname 설정 /etc/hosts 세팅 - Master Node, Worker Node P..

빠르게 더 빠르게!!! 빅데이터의 시대가 되면서 데이터를 처리해야 될 양이 많아지고 있습니다. 서버에서 감당해야 할 네트워크 트래픽도 높아지고 있습니다. 데이터 전송을 높이기 위해 네트워크 성능을 높이는 방법은 많지 않습니다. 특히나 요즘은 Cloud 환경에서 서버를 구성하는 경우가 많습니다. 그럼 Cloud 환경에서 네트워크 성능을 높이는 방안은 뭐가 있을까요? AWS Placement Group 여러 가지 Cloud 환경이 있지만 오늘 포스팅에서는 AWS 환경에서 방안입니다. AWS에서는 Placement Group(배치 그룹)이란 것이 있습니다. AWS에서 가장 많이 사용하는 서비스인 EC2에 적용되는 설정입니다. AWS AZ(가용영역)에서 제공해 주는 Cloud Computing Service입니..

1개로 부족해, 2개의 IP로 접근하기 요즘 Cloud 환경에서 Server를 세팅하는 경우가 많습니다. Kafka 역시 Cloud 환경에서 운영하는 경우가 많습니다. Cloud 환경에서는 보통 Public Network, Private Network로 구성됩니다. 보안적으로 Public, Private 나눠서 구성하는 것이 좋습니다. Private Network는 내부에서만 접근하기 때문에 비교적 안전합니다. 그래도 외부에서 접근해야 될 경우도 있습니다. Public, Private IP로 모두 접근이 필요한 경우가 많습니다. Kafka도 Public, Private IP로 모두 접근하려면 어떻게 해야 할까요? Kafka Public/Private IP로 접근 Kafka 설정 중 Listener 관련 ..

Trino 한번 써보겠습니다(3) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Kubernetes Cluster에 Hive Metastore를 구성해서 AWS S3에 연결까지 해보았습니다. Trino 한번 써보겠습니다(2) - Hive Metastore와 AWS S3 연결 Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통 developnote-blog.tistory.com Trino 설치 Hive Metastore와 AWS S3 연결 AWS S3내 CSV 데이터 조회..

Trino 한번 써보겠습니다(2) 분산 Query Engine 중 가장 핫한 Trino를 설치해 보았습니다. Trino 한번 써보겠습니다(1) - Kubernetes에 Trino 설치 Trino 한번 써보겠습니다(1) RDB에서 데이터를 조회할 때 SQL를 통해 조회하였습니다. 데이터는 방대해져서 빅데이터가 생겼고, RDB뿐만 아니라 Storage의 종류도 다양해졌습니다. 데이터 조회는 다양 developnote-blog.tistory.com 이제 Data Source에 연결해서 Trino를 통해 데이터를 조회해 보려고 합니다. 이번 시리즈에서 선택한 Data Source는 AWS S3입니다. Trino 설치 Hive Metastore와 AWS S3 연결 Trino로 CSV 데이터 조회 AWS S3에 C..