규턴의 개발블로그
article thumbnail
[롤 전적검색] NiFi&Kafka를 이용하여 Json 데이터를 RDMBS에 적재(2)

SpringBoot에서 Kafka - Producer https://devbksheen.tistory.com/entry/Kafka-Spring-Boot%EC%97%90-Kafka%EB%A5%BC-%EC%97%B0%EB%8F%99?category=1024738 Spring Boot에 Kafka 연동 [Kafka] Local에서 Kafka 명령어 날리기 [Kafka] EC2 생성 후 접속, Kafka 설치 및 설정 AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbou.. devbksheen.tistory.com springboot와 kafka 연동은 다음을 참고하였음 public static St..

[롤 전적검색] NiFi&Kafka를 이용하여 Json 데이터를 RDMBS에 적재

AS IS 현재 상황은 다음과 같다. * 데이터가 기니까 주의하세요 더보기 { "latestTwentyRecords": { "averageKill": "1.9", "averageKillRate": "6%", "lose": "10", "averageKda": "2.77", "draw": "0", "winRate": "50%", "win": "10", "averageAssist": "11.6", "averageDeath": "4.9" }, "gameRecord": [ { "death": "8", "playtimeMinutes": 35, "csPerMinutes": "1.3", "playtime": "35분44초", "semiRuneImg": "https://ddragon.canisback.com/img/pe..

article thumbnail
RBMS에 JSON 적재하기(2)

구성방법 현재 구성되어 있는 방법은 다음과같다. 1.kafka topic을 -line_info -most_champion -user_info -full_record 와 같이 4개로 나누고 해당 토픽에 대응하는 컨슈머그룹을 총 4개운영한다. 현재 프로젝트 directory 구조는 다음과 같다 하나의 샘플을 예시로 들자면 샘플코드 Producer @Service public class FullRecordProducer { private static final String TOPIC = "full_record"; private final KafkaTemplate kafkaTemplate; @Autowired public FullRecordProducer(KafkaTemplate kafkaTemplate) { ..

[DOCKER] react-docker시 unable to resolve dependency tree 문제 해결

삽질정리 # 1. node 이미지 사용 FROM node:16-alpine # 2. 패키지 우선 복사 COPY ./troller/package* /usr/src/app/ WORKDIR /usr/src/app RUN npm install # 3. 소스 복사 COPY ./troller /usr/src/app # 4. WEB 서버 실행 (Listen 포트 정의) EXPOSE 3000 CMD npm start 지금까지 사용해오던 react와 관련된 dockerfile이다 그중 RUN npm install에서 자꾸 에러가 떴다. jenkins에서 빌드해보니 npm ERR! Could not resolve dependency: npm..

article thumbnail
[트러블슈팅] 문제 해결 과정(1)- RDBMS에 JSON데이터 적재하기

Json파일을 db에 넣기-test 우리가 가지고 있는 api에서 호출했을때 과연 json파일이 잘 저장될까 의문이었다. kafka로 produce/consume을 하기전에 실제 db에 json파일이 저장되는데 문제가 없는지 test를 해보았다. 소스코드 및 과정 @Getter @NoArgsConstructor(access = AccessLevel.PROTECTED) @Entity @Table(name = "game_record_json") public class GameRecordJson { @Id @GeneratedValue @Column(name = "game_record_json_id") private Long id; @Column(name = "json", columnDefinition = "l..

[트러블 슈팅]라이엇api 호출 delay

문제정의 현재 라이엇api를 이용하여 유저의 20개 전적을 불러온다. 근데 로직이 이상한건지 한번 불러오는데 5초 이상이걸린다. 만약 멀티서치를 할경우 5명의 전적을 한번에 검색하는데 1분은 걸리고 503에러도 발생 사실 수집 및 원인추론 { "latestTwentyRecords": { "averageKill": "12.2", "lose": "10", "averageKda": "3.58", "draw": "0", "winRate": "50%", "win": "10", "averageAssist": "14.5", "averageDeath": "7.5" }, "gameRecord": [ { "death": "6", "csPerMiutes": "7.1", "playtime": "30분53초", "semiRun..