목록ALL (210)

JUST WRITE

What is Parquet?

What is Parquet Parquet은 OpenSource로 Column 기반 Data 저장 포맷입니다. 복잡한 Data를 대량으로 처리할 수 있는 성능과 효율적인 압축, 인코딩을 제공합니다. RCFile, ORC처럼 Hadoop에서 사용할 수 있는 Column 기반 저장 형식과 비슷하다. 특징 OpenSource. 특정 Programing 언어에 제한되지 않음. Column 기반 Data 저장 포맷 OLAP에 사용하기 효과적(전통적인 OLTP Database에 사용 가능) 압축/ 압축해제에 높은 효율 복잡한 Data type 지원 3가지 Metadata 구성 file metadata column(chunk) metadata page header metadata 장점 Table, Image, Vid..
ETC 2022. 2. 24. 20:17
따릉이 대여소 정보 Dashboard 구성(4) - Grafana로 Dashboard 구성

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS S3에 있던 따릉이 대여소 정보가 담긴 CSV Data를 Redshift Table에 적재하였다. Redshift Table의 Data를 토대로 Grafana Dashboard를 구성해보았다. Grafana 설치 서울시 공공데이터에서 따릉이 대여소 정보를 정제하고 AWS S3에 업로드를 Python Process로 진행했다. AWS EC2에서 Python Process를 진행했었는데 같은 EC2에 Grafana를 설치하였다. yum command로 Grafana 설치하였다. 먼저, yum.repos.d 내 grafana repository를 추가하였다. sudo vi /etc/yum.repos.d/grafana.repo # g..
Cloud 2022. 2. 23. 19:06
What is Grafana?

What is Grafana Grafana는 OpenSource로 분석 및 시각화 Web Application이다. 수많은 DataSource에서 Data를 수집할 수 있습니다. 쉬운 분석을 위한 Dashboard를 구성하는 최적화된 Tool-kit입니다. Time-series Databas(TSDB)를 시각화는데도 최적화되어 있다. 특징 Visualization Grafana는 Data를 쉽게 이해할 수 있게 다양한 시각화 기능을 제공합니다. Panel은 Grafana에서 가장 기본적인 시각화 Block입니다. Panel은 Mapping 된 Datasource에서 Query 한 Data를 기준으로 보여줍니다. Data를 바탕으로 gauge, histogram, bar chart 등 다양한 Graph로 ..
Data 2022. 2. 23. 17:04
따릉이 대여소 정보 Dashboard 구성(3) - Redshift Table Data 적재

AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. 서울 공공데이터에서 따릉이 대여소 정보를 정제하여 CSV 파일로 만들었다. 만든 CSV 파일을 EC2 환경에서 Python Process를 통해 자동으로 AWS S3에 Upload 하였다. AWS S3에 Object(CSV 파일)을 AWS Lambda를 이용해서 AWS Redshift Table에 적재하려 한다. AWS Lambda Function 생성 S3 Bucket에 있는 CSV 파일을 Redshift Table에 적재하기 위해서 AWS Lambda를 이용하였다. S3 Bucket에 새로운 Object가 Upload 할 때 해당 Object를 Redshift Table에 적재하도록 하였다. S3 Object 관련된 블루프린트를 ..
Cloud 2022. 2. 19. 17:18
What is AWS Lambda?

What is AWS Lambda? AWS Lambda는 Event 기반, Serverless Computing Service입니다. 개발자는 설치, 관리 필요 없이 Lambda로 실행할 코드만 있으면 된다. Lambda는 필요시에만 코드를 실행한다. Lambda API를 통해 호출하거나, 다른 AWS Service의 Event에 의해 실행된다. 개념 Function Function은 Lambda를 실행하기 위해 호출하는 Resource입니다. 호출 Event를 Function에게 전달하여 처리합니다. Event를 처리하고 Response를 반환합니다. Runtime Runtime은 다양한 Language별로 실행할 수 있는 환경을 제공한다. Lambda와 함수 간에 Event, Context 정보 및 ..
Cloud 2022. 2. 18. 20:56
What is Redshift?

What is Redshift? AWS Redshift는 Amazon Web Service중에 Data Warehousing을 지원하는 솔루션이다. 페타바이트(10^15bytes)급의 대용량 데이터를 처리할수 있다. 큰 Scale의 Data를 Migration할 수 있다. AWS Interface를 통해 손쉽게 새 Cluster를 구성할 수 있다. 특징 OLAP 형태의 Column 기반 Database PostgreSQL(Version 8.0.2) 기반 -> SQL Query 사용 가능 MPP(Massively Parallel Processing)를 통한 Fast Querying 제공 다수의 Computing 노드가 병렬로 작동하여 Query 처리 각 노드는 할당된 Data에 대해서 동일한 Query 처..
Cloud 2022. 2. 15. 18:48
Prev 1 ··· 16 17 18 19 20 21 22 ··· 35 Next