MSK4 MSK(Kafka) Best Practice Cluster 운영 브로커 유형에 따른 권장 파티션 수를 초과하지 않도록 한다. kafka.t3.small 300 kafka.m5.large or kafka.m5.xlarge 1000 kafka.m5.2xlarge 2000 kafka.m5.4xlarge, kafka.m5.8xlarge, kafka.m5.12xlarge, kafka.m5.16xlarge, or kafka.m5.24xlarge 4000 브로커의 총 CPU 사용률 (CPU User + CPU System) 을 60% 미만으로 유지한다. 디스크 공간 확보를 위해, KafkaDataLogsDiskUsed 값을 85% 미만으로 유지한다. Topic 생성 Topic name은 Convention을 정해서 표준화된 Topic name을 사용 할 수 있.. 2023. 11. 26. MSK 클러스터에 S3 sink connector 연결해서 S3에 데이터 적재하기 💡 MSK Connector는 연결하고자 하는 MSK Cluster의 인증방식으로 인증없음이나 IAM 인증만 지원한다. MSK에서 S3 Sink Connector를 사용해서 S3에 접근하기 위해서는 Connector 생성 전에 아래 두개의 리소스가 먼저 생성되어야 한다. S3 서비스 VPC 엔드포인트 Connector에 부여할 IAM Role S3 서비스 VPC 엔드포인트 생성 VPC Console -> Virtual private cloud -> endpoints 접속 -> endpoint 생성 Service에서 s3 검색 Type이 Gateway인 서비스 선택 VPC: msk cluster가 있는 VPC 선택 라우팅 테이블: msk cluster에 연결된 라우팅 테이블 선택 정책: 전체 엑세스 Kaf.. 2023. 11. 12. Kafka - MSK 클러스터 SASL/SCRAM 인증 활성화 MSK 클러스터 보안 설정에서 SASL/SCRAM 인증 활성화 확인 AWS KMS key 생성 절차상으로는 필수가 아닌것 처럼 보이나, 디폴트 kms 키는 공식문서에서는 msk cluster에서 사용 불가능 하다고 되어 있음 Key type: Symmetric Key usage: Encrypt and decrypt 권한 정의는 따로 설정하지 않고 넘어감. 뒤의 단계에서 수정 할 예정 Secrets Manager 새 보안암호 저장 아래 나열된 설정 외의 다른 설정은 기본값 유지 보안암호 유형: 다른 유형의 보안 암호 키/값 에 username, password를 키로 지정하고 원하는 값 입력 암호화 키는 이전단계에서 생성한 kms 키를 지정 보안 암호 이름에는 필수로 AmazonMSK_ 를 prefix로 .. 2023. 9. 24. MSK - Kafka console producer, consumer 사용 AWS MSK를 사용한다면 client.properties 파일을 이용해서 클라이언트 명령어를 사용해야 정상적으로 접속이 가능하다. 아래는 MSK로 클러스터를 구성하였고, 인증방식을 IAM으로 선택하였을때의 client.properties의 내용 security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler 위의 파일을 이용하는 것 외에도, 설정한 인증방식에 맞게 필요한 사전 작업들을 해주.. 2023. 8. 6. 이전 1 다음
