Daramu

다람어의 블로그

DevOps/Kafka

프로듀서의 설정에 대한 부분은 아래의 링크 참고https://daramu.tistory.com/63 카프카 클러스터 -> 컨슈머 의 형태로 메시지가 소비된다.우선 프로듀서가 메시지를 카프카 클러스터에" data-og-host="daramu.tistory.com" data-og-source-url="https://daramu.tistory.com/63" data-og-url="https://daramu.tistory.com/63" data-og-image="https://scrap.kakaocdn.net/dn/cnKOKm/hyX7PsYbBS/c2dt6KgZk2c5fQW8W03bIK/img.png?width=800&height=800&face=0_0_800_800,https://scrap.kakaocdn.n..

2025. 2. 3.

DevOps/Kafka

자바에서 카프카를 사용하기 위한 방법이다.이전 게시글에 있듯이, 카프카는 프로듀서 -> 카프카 클러스터 -> 컨슈머 의 형태로 메시지가 소비된다.우선 프로듀서가 메시지를 카프카 클러스터에 넣어야 하는데, 순서대로 진행할 것이다. 아래의 코드는  "https://stream.wikimedia.org/v2/stream/recentchange" 의 데이터를 가져오는 것이다.들어가 보면 알겠지만 위키의 새롭게 올라온 내용에 대한 주소로, json 형식으로 우르르 올라오는 것을 알 수 있다. 우선 Producer를 생성한다.이전 게시물과 동일하게 부트스트랩 IP와 Port를 지정하고, 시리얼라이저 등록과 topic의 생성등을 진행한다.하나 다른 것은 이벤트 핸들러인데, 이벤트 핸들러의 "WikimediaChang..

2025. 2. 3.

DevOps/Kafka

카프카에서 프로듀서는 카프카 클러스터에 메시지를 전달하는 역할을 한다.크게 프로듀서 속성 정의, 프로듀서 생성, 데이터 전송, 프로듀서 종료 순으로 진행한다. 중간에 시리얼라이저(Serializer)가 있는데, 이건 카프카로 메시지를 보낼때, Key:Value 쌍으로 메시지를 보낸다.이때 메시지는 입력값으로 보내는 것이 아닌, Byte값으로 변하여 전송이 되는데 그때 변환할 형식을 의미한다.가령 key값이 1,2,3이라면 Int도 상관없지만, 문자열(test_1, Log....etc)라면 String을 사용한다. 그렇게 정의된 각각의 시리얼라이저를 Producer에 담아 보낸다.public class ProducerDemo{ private Static final Logger log = LoggerFact..

2025. 1. 17.

DevOps/Kafka

Kafka를 사용하기 위해서는 아래의 의존성이 필요하다.버전은 알아서 선택하는데, 3 이상부터는 Zookeeper가 사라진 이른바 KRaft모드가 기본이다. 만약 주키퍼를 사용하고 싶다면 최대 2.8 버전 미만이며, 1.x버전 사용을 통해 주키퍼에 완전 의존적인 클러스터 구현이 필요하다.// https://mvnrepository.com/artifact/org.apache.kafka/kafka-clientsimplementation("org.apache.kafka:kafka-clients:3.9.0") 그 외에 순수 Java로 한다면 slf4j api와 slf4j simple 또한 필요하지만,스프링 부트를 사용한다면 slf4j와 그 것의 구현체인 logback등이 있으므로 필수는 아니다.//스프링 부트가..

2025. 1. 17.