Apache Kafka2 MSK - Kafka console producer, consumer 사용 AWS MSK를 사용한다면 client.properties 파일을 이용해서 클라이언트 명령어를 사용해야 정상적으로 접속이 가능하다. 아래는 MSK로 클러스터를 구성하였고, 인증방식을 IAM으로 선택하였을때의 client.properties의 내용 security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler 위의 파일을 이용하는 것 외에도, 설정한 인증방식에 맞게 필요한 사전 작업들을 해주.. 2023. 8. 6. Apache Kafka 알아보기 Apache Kafka? Kafka는 2011년 링크드인에서 실시간 데이터 피드를 관리하기 위해 개발한 이벤트 스트리밍 플랫폼이다. Kafka는 고성능 분산 스트리밍 플랫폼으로, 분당 수십억개의 스트리밍 이벤트를 처리 할 수 있다. 카프카의 핵심 기능 애플리케이션에서 데이터 또는 이벤트 스트림을 게시(publish)하거나 구독(subscribe to)할 수 있음 원하는 기간 동안 스트림을 내구적이고 신뢰성 있게 저장 할 수 있음 데이터를 생성 즉시 실시간 처리 할 수 있으며, 순서를 보장함 카프카 구조 브로커 (Broker): 카프카 클러스터의 핵심 구성 요소로, 메시지들을 저장하고 처리하는 노드 여러 대의 브로커로 구성된 클러스터를 형성하여 데이터를 분산 저장하고 처리 토픽 (Topic): 메시지들을 .. 2023. 7. 27. 이전 1 다음
