JUST WRITE

How Airflow works Airflow가 어떻게 동작하는지 알아보려 한다. Single Node, Multi Nodes에서 각각 어떻게 동작하는지 알아보려 한다. Single Node Architecture Single Node Architecture에서는 모든 Airflow Componet가 단일 Machine에서 동작한다. (WebServer, Metastore, Scheduler, Executor) WebServer는 Metastore에서 Data를 가져와 Web Application에서 보여준다. Scheduler는 Metastore와 통신하고 실행한 Task가 있을 시 Executor에게 요청한다. Executor는 Metstore에서 Data를 확인하고 실행할 Task를 실행한다. Ex..

What is Airflow Airflow is a platform to programmatically author, schedule and monitor workflow 위 문장이 Apache Airflow 공식 사이트에 게시되어 있는 Airflow 한 줄 소개글이다. Airflow는 Workflow를 프로그래밍적으로 작성할 수 있고, Schedule 하고 모니터링을 하게 해주는 Platform이다. 다르게 해석하면 작업들을 일정한 시간에 정확한 방법으로 올바른 순서대로 실행하게 해주는 Tool이다. 장점 Dynamic Airflow에서 Pipeline은 Python으로 정의할 수 있다. Python으로 가능한 것이면 Airflow에서 Pipeline내 Task로 실행할 수 있다. Scalable Ai..

venv venv는 특정 Path에 Virtual Environment를 제공해주는 Python Package이다. Virtual Environment덕분에 경량화되고 고립된 환경에서 Python을 이용할 수 있다. Project마다 사용하는 Package와 그 Version이 다르다. System에 설치돼 사용하는 Python Package와 Project 내 Package가 Version이 다를 수 있다. 이러한 문제를 해결하기 위해 venv Package가 Virtual Environment를 제공한다. venv로 특정 Path에 환경을 구성하면 고립되어 System Python Package에 영향을 받지 않는다. 필요한 Package만 설치하면 되고 필요한 Packge Version으로 설치하면..

DHCP Dynamic Host Configuration Protocol Host가 Network와 통신하려면 IP Address, Subnet Mask, Gateway 같은 Network 정보가 있어야 한다. Network 정보를 Host에 적용하려면 사용자가 직접 설정을 하는데 정적 할당이라 한다. 직접 설정하지 않고 자동으로 설정하는 것을 동적 할당이라 한다. Network 정보를 동적으로 할당하는 데 사용하는 Protocol이 DHCP이다. DHCP를 사용하면 아래 Network 정보를 자동으로 할당 받는다. IP Address Subnet Mask Gateway DNS 정보 동적 할당을 하면 직절 설정하면서 발생하는 오류나 중복 IP 할당 문제를 해결할 수 있다. 구성 DHCP는 BOOTP(Bo..

DNS Domain Name Server Internet에서 통신할 때 IP Address를 사용한다. IP Address는 최대 12자리 숫자로 구성되어 있어 외우기가 힘들다. 그래서 문자로 구성된 Domain Address를 사용한다. DNS는 Domain Address를 IP Address로 변환해주는 역할을 한다. 최근 Cloud 기반 Infra 구성이 많아지면서 Infra가 빈번이 변경돼서 DNS 설계가 중요하다. MSA(Micro Service Architecture) 기반의 Service가 많아지면서 수많은 API 호출로 DNS 역할이 중요하다. 구조와 명명규칙 Domain은 계층 구조로 수많은 Address를 효율적으로 찾아갈 수 있다. 역 Tree 구조로 최상위 Root부터 Top-Lev..

NAT Network Address Translation NAT는 Network Address를 변환해주는 기술이다. 1:1 Address 변환이 기본이지만 여러 개의 IP를 하나의 IP로 변환하기도 한다. 공식용어는 NAPT(Network Address Port Translation, RFC2663)이다. 실무에서는 PAT(Port Address Translation)으로 많이 사용한다. 보통 Private IP에서 Public IP로 변환하거나 Public IP에서 Private IP로 변환한다. 용도 IPv4 Address 고갈 문제 해결 외부에 공개해야 하는 Service에는 Public IP를 사용, 공개가 필요 없는 PC에는 Private IP 사용 NAT를 이용해 Private IP 사용하기..