카프타 도입 성공 사례 2가지를 설명하도록 하겠습니다. 패션 회사인 잘란도와 트위터의 사례를 통해 카프카를 도입함으로써 어떤 효과를 거두었는지 살펴보도록 하겠습니다.
잘란도 사례
1. 잘란도 기존 시스템의 문제
- 여러 네트워크를 이용하는 환경에서 모든 데이터 변경에 대한 올바른 전달을 보장 문제
- 동일한 데이터를 동시에 수정하면서 정확하게 순서를 보장해야 하는 문제
- 수정된 이벤트들을 정확한 순서대로 아웃바운드로 전송하는 문제
- 다양한 클라이언트들의 요구사항을 효율적으로 지원하기 어려운 문제
- 빠른 전송을 위한 클라이언트 또는 대량의 배치 전송을 위한 클라이언트를 지원하기 어려운 문제
2. 잘란도의 카프카 도입 이유
- 높은 처리량, 순서 보장은 적어도 한번 전송 방식, 강력한 파티셔닝, 자연스러운 백프레셔 핸들리, 로그 컴팩션 같은 훌륭한 기능들과 빠른 데이타 수집이 가능한 높은 처리량
- HTTP 기반으로 전달되는 이벤트일지라도 이벤트가 카프카로 처리되는 응답시간은 불과 한 자릿수의 밀리초(ms) 단위로 처리
- 순서 보장
- 이벤트 처리 순서가 보장되어 엔티티 간의 유효성 검사, 동시 수정 같은 무수한 복작성들이 제거되어 구조가 간결해짐.
- 적어도 한 번 전송 방식
- 멱등석(idempotent)이란 동일한 작업을 여러 번 수행하더라도 결과가 달라지지 않는 것을 의미함.
- 프로듀서가 재전송을 하더라도 데이타 변화는 일어나지 않음.
- 자연스러운 잭프레셔 핸들링
- 카프카의 클라이언트는 pull 방식으로 작동함. 성능과 편리함에 집중하고자 풀 방식을 채택함.
- 풀 방식은 자기 자신의 속도로 데이터를 처리할 수 있음.
- 푸쉬 방식은 브로커가 보내주는 속도에 의존해야 한다는 한계가 있음.
- 강력한 파티셔닝
- 이 기능을 사용하면 논리적으로 토픽을 여러 개로 나눌 수 있음.
- 다른 파티션과 독립적으로 처리되어 수평 확장이 가능해짐.
- 그 외 여러가지 기능
- 로그 컴팩션 기능을 통해 스냅샷 역할이 가능해졌음.
- 프로듀서와 컨슈머가 비동기식으로 분리되어 애플리케이션 병목 현상을 정확하게 파악할 수 있음.
- 모니터링을 통해 지연에 대한 문제를 빠르게 해결할 수 있음.
- 카프카 스트림즈 활용내부 데이터 처리 간소화, 높은 처리량을 바탕으로 스트림 데이터 처리의 확장성 증가
트위터 사례
1. 트위터 문제
- 카프카 0.7의 문제점은 많은 I/O 오퍼레이션 문제 발생, 내구성 및 리플리케이션의 미구현 등으로 인한 불안정성이 있어 카프카를 포기하고 인하우스 메시지 시스템을 구축함.
- 이후 카프카는 실시간 메시징 시스템의 업계 표준으로 자리매김함.
2. 트위터의 카프카 도입 이유
- 비용 절감 효과
- 카프카는 BPS와 상관없이 지연이 거의 발생하지 않음.
- 기존 이벤트 버스에 비해 카프카는 하드웨어 요구 대수가 적어 70~80% 비용 절감이 됨.
- 강력한 커뮤니티
- 오류 시 해결 찾기, 카프카 데이터 엔지니어 채용 용이
카프카 도입 시 질문 사항
- 동기/비동기 데이터 전송에 대한 고민이 있는가?
- 실시간 데이터 처리에 대한 고민이 있는가?
- 현재의 데이터 처리에 한계를 느끼는가?
- 새로운 데이터 파이프라인이 복잡하다고 느끼는가?
- 데이터 처리의 비용 절감을 고려하고 있는가?
이상으로 카프카 도입 성공 사례에 대해 알아봤습니다.
카프카에 대한 핵심 기능이 궁금하신 분은 여기 링크를 참고바랍니다.
좀더 자세한 설명을 원하시는 분은 실전 카프카 개발부터 운영까지 도서를 참고바립니다.
참고 : 실전 카프카 개발부터 운영까지
아래는 카프카 관련 국내 도서입니다.
“이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.”