NiFi 1.17.0에서 jdk 11버전에서의 실행시 문제가 있었다. 상황은 다음과 같다. java --version jdk-11 내가 실행하는 환경에서 java --version 명령어를 입력하면 다음과 같이 나왔었다. 하지만 1.17.0에서 nifi.sh start 실행 시 jdk-11.3.2 와 같이 '.'을 기준으로 jdk 버전을 바인딩 하고 있었다. 즉 jdk11은 에러가 나고 jdk11.x.x와 같이 되어 있어야 정삭적으로 nifi에서 바인딩 돼서 실행이 된다. 그래서 메일을 보냈다 대충 설명하자면 다른사람들도 이와같은 버그가 있었고 이를 추후에 이슈화하여 수정해준다는이야기이다. 추후에 바로 변경될지는 모르겠지만 오픈소스 개발자에게 직접 문의해서 해당 개발자가 오류를 인정하고 수정해주는 모습이..
SpringBoot에서 Kafka - Producer https://devbksheen.tistory.com/entry/Kafka-Spring-Boot%EC%97%90-Kafka%EB%A5%BC-%EC%97%B0%EB%8F%99?category=1024738 Spring Boot에 Kafka 연동 [Kafka] Local에서 Kafka 명령어 날리기 [Kafka] EC2 생성 후 접속, Kafka 설치 및 설정 AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbou.. devbksheen.tistory.com springboot와 kafka 연동은 다음을 참고하였음 public static St..
AS IS 현재 상황은 다음과 같다. * 데이터가 기니까 주의하세요 더보기 { "latestTwentyRecords": { "averageKill": "1.9", "averageKillRate": "6%", "lose": "10", "averageKda": "2.77", "draw": "0", "winRate": "50%", "win": "10", "averageAssist": "11.6", "averageDeath": "4.9" }, "gameRecord": [ { "death": "8", "playtimeMinutes": 35, "csPerMinutes": "1.3", "playtime": "35분44초", "semiRuneImg": "https://ddragon.canisback.com/img/pe..
NiFi-Registry 우선 내가 생각하는 nifi-registry는 git과 비슷한거 같음 NiFi-process(processgroup)을 형상관리 한다고 생각하고 있다. Flow: Nifi-ProcessGroup들이 Nifi-registry 내에서 버전 컨트롤 및 save 등의 단위Bucket: Flow들을 저장하고 구성하는 한 컨테이너(nifi-registry내에서의 단위) 또한 NiFi-regsitry에서 사용자 권한을 주어 각 Bucket(github으로 따지면 하나의 repo?)에 권한부여를 줄 수 있음 설치 및 시작 https://nifi.apache.org/registry.html Apache NiFi Registry Copyright © 2022 The Apache Software F..
NIFI UI Components Toolbar: process, processgroup, template등을 관리할 수 있습니다. 이후 drag and drop 방식으로 canvas에 components toolbar에 존재하는것들을 등록할 수 있습니다. StatusBar: 현재 process 진행 상황에 대한 UI입니다. GlobalMenu: nifi 전역에 대한 설정들이 존재합니다. Search: 주로 process, processgroup에 대해 검색가능합니다. Operator Palatte: process, processGroup에 대해 시작 및 설정을 관리할 수 있습니다. NIFI connection 해당 사진에서 색깔박스는 process끼리 연결했을때 자동으로 생성됩니다. 각 process사..
NIFI? NiFi는 시스템간의 data flow engine입니다. 시스템간의 정보흐름을 자동화 할 수 있으며 UI를 통해 쉽게 구성하기에 dataflow를 한눈에 볼 수 있습니다. 가장 중요한 것은 data의 형식은 바뀔수 있어도 data자체의 내용은 유지하는것이 nifi의 핵심 사상입니다. NIFI Core Concept FlowFile information packet이라고도 하며 실제 데이터를 담은 파일을 의미합니다. attribute:content와 같은 key:value값으로 구성되어 있습니다. 다음과 같이 flowfile에 대한 정보와 content를 담고 있습니다. 실제로 view를 누르면 데이터를 확인할 수 있습니다. FlowFileProcessor BlackBox라고도 불리며, 실제 ..