| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- PostgreSQL
- CVAT
- MAC address
- Vision
- airflow
- CSV
- Spring
- tcp
- jvm
- Network
- AWS
- EC2
- JavaScript
- Packet
- kubeadm
- docker
- aws s3
- OS
- kubectl
- java
- ip
- zookeeper
- grafana
- log
- Trino
- kubernetes
- Python
- Kafka
- Operating System
- helm
Archives
- Today
- Total
목록Multi Nodes Architecture (1)
JUST WRITE
How Airflow works?
How Airflow works Airflow가 어떻게 동작하는지 알아보려 한다. Single Node, Multi Nodes에서 각각 어떻게 동작하는지 알아보려 한다. Single Node Architecture Single Node Architecture에서는 모든 Airflow Componet가 단일 Machine에서 동작한다. (WebServer, Metastore, Scheduler, Executor) WebServer는 Metastore에서 Data를 가져와 Web Application에서 보여준다. Scheduler는 Metastore와 통신하고 실행한 Task가 있을 시 Executor에게 요청한다. Executor는 Metstore에서 Data를 확인하고 실행할 Task를 실행한다. Ex..
MLOps/Airflow
2022. 3. 24. 17:07