카프카 프로듀서 설정 정리 - 11

BE
Kafka

카프카 프로듀서 설정 옵션들에 대한 내용입니다. 카프카 프로듀서는 메시지를 보내는 역할을 하는 클라이언트를 의미합니다. 안정적인 데이타 파이프라인 구축을 위해서는 서비스 요구사항에 맞는 프로듀서 설정이 매우 중요하므로 각 설정에 대한 명확한 이해가 필요합니다.

카프카 컨슈머에 대한 설명이 필요하신 분은 여기 링크를 참고부탁드립니다.

카프카 프로듀서 설정 옵션

bootstrap.servers : 클라이언트가 카프카 클러스터에 처음 연결하기 위한 호스트와 포트 정보를 기입합니다.
- java 소스를 예로 들어보겠습니다.

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

public class ProducerSample {
    public static void main(String[] args) {
        Properties props = new Properties(); // Properties 인스턴스 생성
        props.put("bootstrap.servers", "kafka01.example.test:9092,kafka02.example.test:9092,kafka03.example.test:9092"); //브로커 설정.
        ....
   }
}

client.dns.lookup : 하나의 호스트에 여러 IP를 매핑해 사용하는 일부 환경에서 클라이언트가 하나의 IP와 연결하지 못할 경우에 다른 IP로 시도하는 설정입니다.
- use_all_dns_ips : 기본값, DNS에 할당된 호스트의 모든 IP를 쿼리하고 저장함. 실패하면 다음 IP로 접근을 시도합니다.
- resolve_canonical_bootstrap_servers_only : 커버로스 환경에서 FQDN을 얻기 위한 용도로 사용됩니다.

acks : 프로듀서가 토픽의 리더 측에 메시지를 전송한 후 전송 완료를 결정하는 옵션입니다.
- 0 : 빠른 전송 보장하나 일부 메시지 손상 가능성이 있습니다.
- 1 : 리더가 메시지를 받았는지 확인합니다. 모든 팔로워를 전부 확인하지는 않고 대부분 이 설정을 사용합니다.
- all : 팔로워까지 메시지를 받았는지 여부를 확인함. 느릴 수는 있지만 하나 이상의 팔로워가 있는 한 메시지는 손실되지 않습니다.