HOME >  사업영역 >  BIG DATA

BIG DATA

부산지역 BIG DATA  전문 업체

KNIME 특장점

직관적인 데이터 분석  :  Visual Workflow를 통한 손쉬운 접근 및 작업의 유연성을 보장하는 I/F 제공

다양한 스크립트 언어 지원 : R, Python, Java 등 다양한 스크립트 언어와 손쉽게 연동 및 기존에 사용하던 분석 스크립트 활용 가능

개방형 구조 : 개방형 구조(Open Architecture)로 다양한 외부 Application과 유연한 연동

다양한 데이터 전처리 및 분석 지원 : 4,000여 개의 노드 제공으로 다양한 데이터 연결, 전처리 및 분석 지원

분석 자동화 : Workflow에 대한 스케줄 관리를 통해 자동화된 분석 지원

[ KNINE Workflow 예]

NiFi란

Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링 하기에 최적화된 시스템 이다. 

대량의 데이터를 수집, 처리하기 위해서 만들어졌다. 

• Dataflow를 쉽게 개발할 수 있고, 시스템 간의 데이터 이동과 내용을 볼 수 있는 UI 제공 

• 실시간 데이터 전송에 필요한 기능 제공 

• 강력한 자원과 권한 관리를 통해 Multi-tenant(여러 조직이 자원을 공유해 사용하는 것) 지원 

• 데이터가 어느 시스템으로부터 왔는지 추적 가능 

• 오픈 소스 

• 여러 NiFi 시스템 간 통신을 지원(site to site) 

NiFi는 프로세서를 이용해 수집, 변형, 저장을 여러 단계에 걸쳐서 할 수 있다. 

실시간 처리에 장점을 가지고 있으며, 스케쥴러가 있지만 배치작업이 약하다는 단점이 존재한다. 

또 간단한 데이터 조작만이 가능해서, 복잡한 연산은 힘들기 때문에 spark 와 storm 과 연동해서 사용 한다. 

여기서 nifi 는 FBP(Flow-Based Programming) 이라는 개념을 가지고 있는데, 

FBP 는 사전에 DATA flow 프로세스를 구축한 후, 이를 지속적으로 유지하면서 데이터를 교환하는 프로그래밍 임. 

[ NiFi 적용 예]