구성방법 현재 구성되어 있는 방법은 다음과같다. 1.kafka topic을 -line_info -most_champion -user_info -full_record 와 같이 4개로 나누고 해당 토픽에 대응하는 컨슈머그룹을 총 4개운영한다. 현재 프로젝트 directory 구조는 다음과 같다 하나의 샘플을 예시로 들자면 샘플코드 Producer @Service public class FullRecordProducer { private static final String TOPIC = "full_record"; private final KafkaTemplate kafkaTemplate; @Autowired public FullRecordProducer(KafkaTemplate kafkaTemplate) { ..
Docker Volume의 종류 도커 볼륨이라는것이 처음 공부했을때 좀 헷갈린 기억이 많은거 같아서, 특히 볼륨하고 바인드마운트가 헷갈려서 이참에 정리하려고 글씁니다. 일반적으로 컨테이너내에서 생성된 데이터는 컨테이너가 삭제될때 같이 삭제됩니다. -> memory에 저장되는것과 비슷한 느낌 개발하면서 경우에 따라 어떤 데이터는 컨테이너가 삭제/stop 되어도 유지되길 원하는 데이터가 있을 수 있음습니다. 그리고 해당 데이터 파일을 개발자가 직접 다루어 볼 수 있으면 좋은 데이터도 있을것이고 (바인드마운트) 저장만되도록 원하는경우가 있을것입니다.(볼륨) 즉 도커에서 데이터를 저장/보관 하는 방법을 정리하자면, 1. tmpfs mount (램 디스크) 와 같은 방식 2. Volume 3.Bind Mount ..
삽질정리 # 1. node 이미지 사용 FROM node:16-alpine # 2. 패키지 우선 복사 COPY ./troller/package* /usr/src/app/ WORKDIR /usr/src/app RUN npm install # 3. 소스 복사 COPY ./troller /usr/src/app # 4. WEB 서버 실행 (Listen 포트 정의) EXPOSE 3000 CMD npm start 지금까지 사용해오던 react와 관련된 dockerfile이다 그중 RUN npm install에서 자꾸 에러가 떴다. jenkins에서 빌드해보니 [0m[91mnpm[0m[91m [0m[91mERR
Docker가 뭔데? 도커란 리눅스 컨테이너 기반으로 만들어진, 오픈소스 가상화 플랫폼이다. 참고로 Go언어로 작성되었음 컨테이너?? 가상머신?? 가상머신(Virtual Machine) 가상머신란 다음 사진과 같이 하나의 HOST에서 여러개의 OS를 생성하는 방식이다. 각 할당받은 OS를 GuestOS라고 하며, 서로 완전히 독립된 공간을 할당받는다. 독립된 공간을 할당받는것은 좋지만, 각각의 GuestOS를 위한 library, Kernel등 OS에 필요한 파일들을 각각 가지고 있어야 하기에 크기가 무겁다고 할 수 있다 VM(Virtual Machine)의 한 예시이다. 리눅스를 구해오고싶었는데 잘안나옴... 다음과 같이 하나의 컴퓨터에서 Window를 여러개 띄운것을 확인할 수 있다. 컨테이너(Con..
NiFi-Registry 우선 내가 생각하는 nifi-registry는 git과 비슷한거 같음 NiFi-process(processgroup)을 형상관리 한다고 생각하고 있다. Flow: Nifi-ProcessGroup들이 Nifi-registry 내에서 버전 컨트롤 및 save 등의 단위Bucket: Flow들을 저장하고 구성하는 한 컨테이너(nifi-registry내에서의 단위) 또한 NiFi-regsitry에서 사용자 권한을 주어 각 Bucket(github으로 따지면 하나의 repo?)에 권한부여를 줄 수 있음 설치 및 시작 https://nifi.apache.org/registry.html Apache NiFi Registry Copyright © 2022 The Apache Software F..