| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- log
- tcp
- kubectl
- Trino
- ip
- Kafka
- EC2
- MAC address
- Packet
- kubernetes
- CVAT
- aws s3
- AWS
- OS
- Operating System
- CSV
- PostgreSQL
- Python
- JavaScript
- helm
- grafana
- airflow
- zookeeper
- Spring
- java
- kubeadm
- jvm
- Vision
- docker
- Network
- Today
- Total
목록block (2)
JUST WRITE
What is HDFS
HDFS Hadoop Distributed File System 일반적인 Hardware들로 구성된 Cluster에서 대용량 파일을 처리하게 도와주는 시스템이다. BigData 시대에 Data의 크기는 워낙 방대하다. 그러다 보니 하나의 좋은 성능의 Server로는 저장과 처리가 힘들고 비용도 크다. 대신 보통 성능의 Server를 여러 대를 두고 저장, 처리를 하면 훨씬 효율적이다. HDFS는 큰 Data를 분산해서 처리하기 좋은 시스템이다. HDFS는 GFS(Google File System) Architecture 에서 시작되었다. 위 그림에서 보면 Master-Slave 구조를 갖는다. GFS master가 Master, GFS chunkserver가 Slave라고 보면 된다. GFS chunks..
File Allocation
이 글은 KOCW 강좌 중 경성대학교 양희재 교수님의 '운영체제' 강의를 정리한 글입니다. File Allocation Hard Disk 구조는 아래와 같다. platter -> 실제 Data를 기록하는 자성을 가진 원판 track -> platter의 동심원을 이루는 하나의 영역 sector -> track을 여러 개로 나눈 영역, 일반적으로 setor의 크기는 512 bytes. cylinder -> 모든 platter에서 같은 track 위치의 집합 위에서 sector 여러개를 묶어 block이라고 한다. Hard Disk는 block 단위로 읽고 쓰기 때문에 Block Device라고도 한다. 비어 있는 block들의 모임으로 볼 수도 있어서 pool of free blocks라고도 한다. 운영체..