| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- airflow
- Packet
- jvm
- aws s3
- kubectl
- Spring
- grafana
- CSV
- JavaScript
- kubernetes
- Kafka
- Vision
- MAC address
- docker
- ip
- AWS
- Network
- EC2
- zookeeper
- kubeadm
- Trino
- helm
- PostgreSQL
- OS
- java
- CVAT
- Python
- Operating System
- log
- tcp
- Today
- Total
JUST WRITE
Router
Router Router라는 Hardware Device에서 Routing을 진행한다. Routing은 하나 이상의 Network에서 경로를 선택하는 Process입니다. Internet과 같이 Packet을 주고받는 Network에서 Packet의 목적지를 가는 경로를 알려준다. 동작 경로 지정 Router의 가장 중요한 역할은 경로 지정이다. Router는 Routing Table에서 Packet이 목적지로 가는 경로를 참고한다. 경로 정보를 모아 Routing Table을 만든다. Router에 Packet이 들어오면 Routing Table 확인 후 Forwarding 한다. Router는 크게 2가지 역할을 한다. 경로 정보 얻기 경로 정보를 확인하고 Packet을 Forwarding 경로 정보..
IP
IP Internet Protocol IP는 Packet이 Network상에서 올바른 목적지에 도달하기 위해서 Routing과 주소 지정을 위한 Protocol이다. TCP에서 전송하기 위한 Data를 일정 크기로 나누는데 그것을 Packet이라 한다. Packet마다 IP 정보를 넣으며 이 정보를 바탕으로 목적지를 찾아간다. Internet에 연결된 Device는 모두 IP Adderess를 할당받는다. IP Address를 바탕으로 목적지를 찾아가게 된다. IP는 보통 TCP(Transmission Control Protocol)과 함께 작동한다. 동작 IP Address는 Internet에서 Device를 구분 지어주는 식별자이다. IP Address는 '192.168.1.1'와 같은 문자열로 되어..
TCP
TCP Transmission Control Protocol TCP는 Application에서 Data를 교환하게 해주는 Network 방식의 표준이다. TCP는 IP(Internet Protocol)과 함께 Computer 간 Packet를 주고받으며 Data를 교환한다. TCP는 IETF(Internet Engineering Task Force)에서 공식적으로 정의한 표준이다.(RFC793) 동작 TCP는 아래와 같은 작동을 한다. 전송할 Application Data를 Packet으로 분할 Network Layer에서 Packet를 송신하고 Packet를 수신 손실된 Data(Packet)를 재전송 -> 오류없는 Data 전송 모든 Packet의 전송 확인 Packet 분할 TCP Protocol ..
What is Parquet?
What is Parquet Parquet은 OpenSource로 Column 기반 Data 저장 포맷입니다. 복잡한 Data를 대량으로 처리할 수 있는 성능과 효율적인 압축, 인코딩을 제공합니다. RCFile, ORC처럼 Hadoop에서 사용할 수 있는 Column 기반 저장 형식과 비슷하다. 특징 OpenSource. 특정 Programing 언어에 제한되지 않음. Column 기반 Data 저장 포맷 OLAP에 사용하기 효과적(전통적인 OLTP Database에 사용 가능) 압축/ 압축해제에 높은 효율 복잡한 Data type 지원 3가지 Metadata 구성 file metadata column(chunk) metadata page header metadata 장점 Table, Image, Vid..
따릉이 대여소 정보 Dashboard 구성(4) - Grafana로 Dashboard 구성
AWS Cloud 실습을 위해 진행한 개인 프로젝트를 정리한 글입니다. AWS S3에 있던 따릉이 대여소 정보가 담긴 CSV Data를 Redshift Table에 적재하였다. Redshift Table의 Data를 토대로 Grafana Dashboard를 구성해보았다. Grafana 설치 서울시 공공데이터에서 따릉이 대여소 정보를 정제하고 AWS S3에 업로드를 Python Process로 진행했다. AWS EC2에서 Python Process를 진행했었는데 같은 EC2에 Grafana를 설치하였다. yum command로 Grafana 설치하였다. 먼저, yum.repos.d 내 grafana repository를 추가하였다. sudo vi /etc/yum.repos.d/grafana.repo # g..
What is Grafana?
What is Grafana Grafana는 OpenSource로 분석 및 시각화 Web Application이다. 수많은 DataSource에서 Data를 수집할 수 있습니다. 쉬운 분석을 위한 Dashboard를 구성하는 최적화된 Tool-kit입니다. Time-series Databas(TSDB)를 시각화는데도 최적화되어 있다. 특징 Visualization Grafana는 Data를 쉽게 이해할 수 있게 다양한 시각화 기능을 제공합니다. Panel은 Grafana에서 가장 기본적인 시각화 Block입니다. Panel은 Mapping 된 Datasource에서 Query 한 Data를 기준으로 보여줍니다. Data를 바탕으로 gauge, histogram, bar chart 등 다양한 Graph로 ..