일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- jvm
- ip
- AWS Redshift
- Operating System
- Packet
- kubeadm
- Network
- airflow
- Kafka
- CVAT
- aws ec2
- PostgreSQL
- JavaScript
- helm
- Vision
- docker
- grafana
- zookeeper
- log
- MAC address
- OS
- EC2
- kubernetes
- aws s3
- Spring
- kubectl
- AWS
- java
- CSV
- Python
- Today
- Total
목록Cloud (15)
JUST WRITE
Client VPN 구성 보안을 위해 AWS Cloud 리소스 일부를 Private Subnet내에 구성하였습니다. 보통 AWS 리소스의 네트워크 접근을 제한할 때 보안그룹 inbound 설정을 통해서 합니다. Private Subnet 구성을 통해서 네트워크 접근을 막을 수 있습니다. Private Subnet을 생성해서 subnet 안에서만 접근할 수 있도록 설정하는 것입니다. 기본으로 생성되어 있는 subnet은 Internet Gateway를 통해 외부에서 접근 가능합니다. Private Subnet은 구성시 Internet Gateway를 연결하지 않고 라우팅 테이블 설정을 통해 subnet 내부에서만 통신하도록 설정합니다. 하지만 subnet 외부에서 접근을 해야 될 경우도 있습니다. 그래서 ..
빠르게 더 빠르게!!! 빅데이터의 시대가 되면서 데이터를 처리해야 될 양이 많아지고 있습니다. 서버에서 감당해야 할 네트워크 트래픽도 높아지고 있습니다. 데이터 전송을 높이기 위해 네트워크 성능을 높이는 방법은 많지 않습니다. 특히나 요즘은 Cloud 환경에서 서버를 구성하는 경우가 많습니다. 그럼 Cloud 환경에서 네트워크 성능을 높이는 방안은 뭐가 있을까요? AWS Placement Group 여러 가지 Cloud 환경이 있지만 오늘 포스팅에서는 AWS 환경에서 방안입니다. AWS에서는 Placement Group(배치 그룹)이란 것이 있습니다. AWS에서 가장 많이 사용하는 서비스인 EC2에 적용되는 설정입니다. AWS AZ(가용영역)에서 제공해 주는 Cloud Computing Service입니..
credentials 설정 안해도 되네?! Terraform을 통해서 AWS EC2를 생성하고 세팅하려면 권한이 필요합니다. 해당 권한을 AWS IAM을 통해서 생성하고 EC2에 aws configure를 통해서 설정하였습니다. 그러면 credetials 파일이 생성되어 해당 파일의 권한 정보로 EC2를 생성하였습니다. # 1. aws command $ aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: # 2. credentials 파일 생성 $ vi ~/.aws/credentials [default] aws_access_key..
늘렸는데 늘어나지 않았습니다?! AWS EC2 4EA에 Kubernetes Cluster를 구축해서 사용 중에 있습니다. 비용을 최소한으로 하기 때문에 Disk, Memory를 최소한으로 사용하고 있습니다. 그러나 사용하다 보니 Pod이 제대로 실행되지 않았습니다. Pod이 Evicted 상태로 되었습니다. describe command로 Pod의 상태를 보면 DiskPressure로 인해서 Pod이 제대로 실행되지 않았습니다. Kubernetes Cluster의 Worker의 Disk를 늘려야 했습니다. 이번 포스팅에서는 AWS EBS 사이즈 늘린 후 적용하는 방법을 정리해 보도록 하겠습니다. EBS 용량 Up AWS EC2에 Kubernetes Cluster를 구성할 때, Docker Data와 Ku..
비용 절감을 위한 EC2 Scheduling AWS에서 가장 많이 사용하는 것이 EC2입니다. EC2는 기본적으로 사용하는 시간에 따라 비용을 부과합니다. 사용할 시간에만 사용하고 그 외 시간에는 중지하는 게 좋습니다. 비용 절감을 위해 EC2 인스턴스 Scheduling은 필수입니다. 이번 포스팅에서는 자동으로 EC2 인스턴스를 시작/중지할 수 있도록 Scheduling 하는 방법을 소개합니다. IAM 설정 EC2 Scheduling에서 먼저 해야할 것은 IAM 설정입니다. EC2를 시작하고 중지할 수 있는 권한을 만들어 AWS Lambda에서 EC2를 제어할 수 있게 해줘야 합니다. IAM에서 역할을 생성합니다. Lambda을 통해서 EC2를 시작/중지할 것이기 때문에 사용 사례를 Lambda로 선택..
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 따릉이 대여소 Data를 AWS Service와 Grafana를 이용하여 Dashboard까지 구성해보았다. 따릉이 대여소 Data를 정재한 다음 CSV로 만들었다. Parquet 형식으로 하면 성능면에서 개선이 될 수 있을 거 같아 시도해보았다. Parquet 형식으로 Data 정제 따릉이 대여소 정보와 실시간 대여 정보를 Python Code로 정제하여 CSV 파일로 만들었다. Python fastparquet package를 활용하여 CSV가 아닌 Parquet으로 결과물을 만들었다. # (기존) CSV 파일 생성 impart pandas as pd file_name = 'seoul_rentbike_info_{}.csv'...