JUST WRITE

AWS EC2 Nifi 설치 이번 포스팅에서는 AWS EC2 인스턴스 3개에 Nifi Cluster 구성해보려 한다. 각 EC2는 Amazon Linux 2에 t3.large로 구성하였다. Nifi 설치에 앞서 각 EC2 인스턴스 필요한 부분을 구성하였다. Java 설치 Nifi는 Java로 개발되어 JDK 설치가 필요하다. OpenJDK 11 버전을 각 EC2 인스턴스에 설치하였다. $ wget https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz $ tar xzf openjdk-11.0.2_linux-x64_bin.tar.gz $ vi ~/.bash_profile export JAVA_HOME=$HOME/jd..

What is Nifi Open Source로 Data flow를 관리할 수 있는 Tool이다. Nifi는 Niagra Files의 준말로 NSA(National Security Agency)에서 개발하였다. Top-level Apache Project로 Hortonworks에서 지원하고 있다. Bigdata platform에서 분석 시 다양한 Datasource에서 데이터 통합 및 처리가 필요하다. ERP, CRM, 파일, Application, IoT 등 다양한 소스에서 데이터 처리가 필요하다. 다양한 소스에서 나오는 Bigdata를 분산 환경에서 처리할 수 있게 도와주는 강력한 Tool이다. 특징 Web UI에서 Data Flow를 수정할 수 있고 Monitoring 가능 Data 유실없이 Data..