일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- aws s3
- helm
- jvm
- java
- JavaScript
- Vision
- Network
- AWS
- airflow
- kubernetes
- tcp
- Operating System
- CSV
- OS
- kubectl
- kubeadm
- ip
- MAC address
- Packet
- grafana
- CVAT
- docker
- zookeeper
- Spring
- EC2
- PostgreSQL
- Kafka
- Trino
- log
- Python
- Today
- Total
목록Python (11)
JUST WRITE
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/epWVaQ/btrw44wYOVW/Yf9GvW1lmOk0TKnfsr7cTk/img.png)
venv venv는 특정 Path에 Virtual Environment를 제공해주는 Python Package이다. Virtual Environment덕분에 경량화되고 고립된 환경에서 Python을 이용할 수 있다. Project마다 사용하는 Package와 그 Version이 다르다. System에 설치돼 사용하는 Python Package와 Project 내 Package가 Version이 다를 수 있다. 이러한 문제를 해결하기 위해 venv Package가 Virtual Environment를 제공한다. venv로 특정 Path에 환경을 구성하면 고립되어 System Python Package에 영향을 받지 않는다. 필요한 Package만 설치하면 되고 필요한 Packge Version으로 설치하면..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/kFXQW/btrutlhM0v6/4yxMYVf8fhLz7d4rq0A2Kk/img.png)
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 따릉이 대여소 Data를 AWS Service와 Grafana를 이용하여 Dashboard까지 구성해보았다. 따릉이 대여소 Data를 정재한 다음 CSV로 만들었다. Parquet 형식으로 하면 성능면에서 개선이 될 수 있을 거 같아 시도해보았다. Parquet 형식으로 Data 정제 따릉이 대여소 정보와 실시간 대여 정보를 Python Code로 정제하여 CSV 파일로 만들었다. Python fastparquet package를 활용하여 CSV가 아닌 Parquet으로 결과물을 만들었다. # (기존) CSV 파일 생성 impart pandas as pd file_name = 'seoul_rentbike_info_{}.csv'...
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/c92kHd/btrtIkKjxBr/ONKFuNBlEqv33kwwzUO0F0/img.png)
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 공공데이터에서 따릉이 대여소 정보를 정제하여 CSV 파일로 만들었다. 만든 CSV 파일을 EC2 환경에서 Python Process를 통해 자동으로 AWS S3에 Upload 하였다. AWS S3에 Object(CSV 파일)을 AWS Lambda를 이용해서 AWS Redshift Table에 적재하려 한다. AWS Lambda Function 생성 S3 Bucket에 있는 CSV 파일을 Redshift Table에 적재하기 위해서 AWS Lambda를 이용하였다. S3 Bucket에 새로운 Object가 Upload 할 때 해당 Object를 Redshift Table에 적재하도록 하였다. S3 Object 관련된 블루프린트를 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/W0JwF/btrtmg8bTWg/K0URhAUJemv5vSIRVd0rwK/img.png)
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 공공데이터에서 따릉이 대여소 정보를 정제하여 CSV 파일로 만들었다. 이번 글에서는 CSV 파일을 AWS S3에 업로드하는 작업을 정리해보려 한다. Python Code로 CSV 파일을 AWS S3에 업로드하였다. AWS IAM 사용자 추가 Amazon S3 작업을 진행하기 전에 S3에 접근 가능한 IAM 사용자를 추가해줘야 한다. AWS IAM에서 사용자 추가를 한다. 적절한 사용자 이름을 지정해준 다음 AWS 자격 증명 유형을 액세스 키 방식으로 한다. Python으로 S3에 접근하기 위해서이다. 다음은 권한 선택 부분이다. 기존 정책 직접 연결 방식으로 해서 기존에 있는 AmazonS3FullAccess 정책을 선택해준다...
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/brh1fS/btrtejLJaDq/FEzz2kcQkbrvzfym0kMVgK/img.png)
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS Cloud를 공부하기 위해 따릉이 대여서 정보 Dashboard 구성 프로젝트를 진행하였다. 위 그림에서 빨간색 부분인 Data 정제 부분을 먼저 진행하였다. 서울 공공데이터에서 2가지 데이터를 가져와서 통합 및 정제를 진행하였다. 서울특별시 공공자전거 대여소 정보(21년 12월 기준) -> csv 파일 서울특별시 공공자전거 실시간 대여 정보 -> OpenAPI로 제공 실시간 대여 정보에는 아래와 같은 정보가 존재한다. 출력명 출력설명 rackTotCnt 거치대 개수 stationName 대여소 이름 parkingBikeTotCnt 자전거 주차 총 건수 shared 거치율 stationLatitude 위도 stationLong..