| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- helm
- MAC address
- jvm
- Operating System
- zookeeper
- airflow
- docker
- Packet
- Spring
- JavaScript
- PostgreSQL
- kubernetes
- aws s3
- ip
- CVAT
- Kafka
- Python
- tcp
- kubeadm
- kubectl
- java
- Trino
- Network
- OS
- grafana
- AWS
- log
- CSV
- Vision
- EC2
- Today
- Total
목록OLAP (2)
JUST WRITE
What is Parquet?
What is Parquet Parquet은 OpenSource로 Column 기반 Data 저장 포맷입니다. 복잡한 Data를 대량으로 처리할 수 있는 성능과 효율적인 압축, 인코딩을 제공합니다. RCFile, ORC처럼 Hadoop에서 사용할 수 있는 Column 기반 저장 형식과 비슷하다. 특징 OpenSource. 특정 Programing 언어에 제한되지 않음. Column 기반 Data 저장 포맷 OLAP에 사용하기 효과적(전통적인 OLTP Database에 사용 가능) 압축/ 압축해제에 높은 효율 복잡한 Data type 지원 3가지 Metadata 구성 file metadata column(chunk) metadata page header metadata 장점 Table, Image, Vid..
What is Redshift?
What is Redshift? AWS Redshift는 Amazon Web Service중에 Data Warehousing을 지원하는 솔루션이다. 페타바이트(10^15bytes)급의 대용량 데이터를 처리할수 있다. 큰 Scale의 Data를 Migration할 수 있다. AWS Interface를 통해 손쉽게 새 Cluster를 구성할 수 있다. 특징 OLAP 형태의 Column 기반 Database PostgreSQL(Version 8.0.2) 기반 -> SQL Query 사용 가능 MPP(Massively Parallel Processing)를 통한 Fast Querying 제공 다수의 Computing 노드가 병렬로 작동하여 Query 처리 각 노드는 할당된 Data에 대해서 동일한 Query 처..