프로듀서, 컨슈머 질문사항으로 많이 나오는 항목에 대한 답변 정리를 하겠습니다. 해당 내용을 바탕으로 실무에서 카프카가 어떻게 활용되고 있는지를 보다 명확히 알 수 있는 계기가 되었으면 합니다. 프로듀서 관련 → 확답할…
주키퍼, 카프카 질문사항으로 많이 나오는 항목에 대한 답변 정리를 하겠습니다. 해당 내용을 바탕으로 실무에서 카프카가 어떻게 활용되고 있는지를 보다 명확히 알 수 있는 계기가 되었으면 합니다. 주키퍼 → 주키퍼는 홀수로…
카프카 설치 방법에 대해 알아보겠습니다. 카프카는 아마존에서 제공하는 완전관리형 아파치 카프카 MSK, 컨플루언트에서 제공하는 카프카 솔루션이 있습니다. 여기서는 AWS에 실제 카프카를 설치하는 방법을 소개하겠습니다. 1. AWS 환경에서 실습 환경 구성…
카프카 보안은 카프카 클러스터의 중요한 측면 중 하나이며, 데이터의 안전한 전송, 인증, 권한 부여, 기밀성 등을 보장하는 데 필요한 기능을 제공합니다. 카프카의 보안 기능은 다음과 같은 주요 측면을 다룹니다: 여기서는…
카프카 커넥트 활용법에 대해 알아보도록 하겠습니다. 카프카 커넥트는 데이터 베이스 같은 외부 시스템과 카프카를 연결하기 위한 프레임워크입니다. 코딩을 작성하지 않고도 대용량의 데이터를 카프카의 안팎으로 손쉽게 이동시킬 수 있음. 카프카 커넥트…
스키마 레스지트리란 스키마를 등록하고 관리하는 카프카와 별도로 구성된 독립형 애플리케이션입니다. 비상업적 용도로 쓸 경우 무료로 사용 가능합니다. 스키마 레지스트리에 대해 알아보고 코드 레벨 단에서의 적용 방법을 소개해드리겠습니다. 1. 카프카 스키마…
카프카 운영 설정과 안정적인 운영을 위한 모니터링 설정 방법을 알아보도록 하겠습니다. 카프카는 안정적인 시스템으로 운영이 가능하나 혹시 모를 장애 예방을 위해 카프카 서버를 감시할 대시보드 형태의 모니터링 툴이 필요합니다. 1….
카프카 컨슈머 구성 요소에 대해 알아보겠습니다. 이번 포스팅을 통해 컨슈머 그룹, 오프셋 관리, 컨슈머들의 파티션 할당 정책, 트랜잭션 컨슈머의 내부 동작에 대해 이해하고 안정적인 운영을 위한 컨슈머 설정 방법을 소개하도록…
카프카 프로듀서 구성에 대해 알아보도록 하겠습니다. 파티셔너 역할, 프로듀서의 배치 전송 기능, 프로듀서의 신뢰성있는 전송 방식에 대해 소개하도록 하겠습니다. 1. 파티셔너 1) 라운드 로빈 전략 2) 스티키 파티셔닝 전략 Apache…
카프카 로그 설정 방법에 대해 알아보도록 하겠습니다. 모든 토픽의 메세지는 세그먼트라는 파일에 저장됩니다. 세그먼트는 최대 1GB로 기본 설정되어 있습니다. 그리고 1GB를 넘으면 새로 로그 파일 생성됩니다. 따라서 관리자는 로그 세그먼트…