R 형태소 분석기를 활용하여 단어의 빈도수를 확인하는 방법을 알아보도록 하겠습니다. 단어를 추출하고 명사로 분류하여 문장, 글에서 해당 명사가 어떤 비중을 차지하는지 빈도수를 계산해보겠습니다. 1. R 형태소 분석 2. 명사 빈도…
R 단어 빈도 분석에 대해 알아보도록 하겠습니다. R은 텍스트 마이닝에 대한 유용한 라이브러리를 제공합니다. 단어의 빈도수를 확인하여 문장내에서 어떤 비중을 차지하고 있는지 확인해보도록 하겠습니다. 1.텍스트 전처리 2. 토큰화하기 3. R…
카프카 프로듀서, 컨슈머 질문사항으로 많이 나오는 항목에 대한 답변 정리를 하겠습니다. 해당 내용을 바탕으로 실무에서 카프카가 어떻게 활용되고 있는지를 보다 명확히 알 수 있는 계기가 되었으면 합니다. 프로듀서 관련 →…
주키퍼, 카프카 질문사항으로 많이 나오는 항목에 대한 답변 정리를 하겠습니다. 해당 내용을 바탕으로 실무에서 카프카가 어떻게 활용되고 있는지를 보다 명확히 알 수 있는 계기가 되었으면 합니다. 주키퍼 → 주키퍼는 홀수로…
카프카 설치 방법에 대해 알아보겠습니다. 카프카는 아마존에서 제공하는 완전관리형 아파치 카프카 MSK, 컨플루언트에서 제공하는 카프카 솔루션이 있습니다. 여기서는 AWS에 실제 카프카를 설치하는 방법을 소개하겠습니다. 1. AWS 환경에서 실습 환경 구성…
카프카 보안은 카프카 클러스터의 중요한 측면 중 하나이며, 데이터의 안전한 전송, 인증, 권한 부여, 기밀성 등을 보장하는 데 필요한 기능을 제공합니다. 카프카의 보안 기능은 다음과 같은 주요 측면을 다룹니다: 여기서는…
Aruco vs QR code는 모두 영상 기반의 바코드 시스템으로, 데이터를 포함하고 있는 시각적인 패턴입니다. 하지만 각각의 특징과 용도에서 차이가 있습니다. Aruco는 이미지 처리 및 컴퓨터 비전 분야에서 주로 사용되는 마커…
스키마 레스지트리란 스키마를 등록하고 관리하는 카프카와 별도로 구성된 독립형 애플리케이션입니다. 비상업적 용도로 쓸 경우 무료로 사용 가능합니다. 스키마 레지스트리에 대해 알아보고 코드 레벨 단에서의 적용 방법을 소개해드리겠습니다. 1. 카프카 스키마…
카프카 운영 설정과 안정적인 운영을 위한 모니터링 설정 방법을 알아보도록 하겠습니다. 카프카는 안정적인 시스템으로 운영이 가능하나 혹시 모를 장애 예방을 위해 카프카 서버를 감시할 대시보드 형태의 모니터링 툴이 필요합니다. 1….
카프카 컨슈머 구성 요소에 대해 알아보겠습니다. 이번 포스팅을 통해 컨슈머 그룹, 오프셋 관리, 컨슈머들의 파티션 할당 정책, 트랜잭션 컨슈머의 내부 동작에 대해 이해하고 안정적인 운영을 위한 컨슈머 설정 방법을 소개하도록…