flush1 Kafka - S3 Sink Connector Rotation Strategy(Flush 설정) MSK 클러스터에 S3 sink connector 연결해서 S3에 데이터 적재하기 MSK 클러스터에 S3 sink connector 연결해서 S3에 데이터 적재하기 💡 MSK Connector는 연결하고자 하는 MSK Cluster의 인증방식으로 인증없음이나 IAM 인증만 지원한다. MSK에서 S3 Sink Connector를 사용해서 S3에 접근하기 위해서는 Connector 생성 전에 아래 두개의 리소스가 devpongi.tistory.com 이전에 작성했던 블로그 글처럼 커넥터를 설정해서 사용 중 이었는데, 연속적으로 데이터가 들어오지 않는 토픽의 경우에는 Flush size가 매번 채워지지 않아 S3에 데이터가 업로드 되는데 지연이 발생하였다. 그래서 이번에 S3 업로드 설정을 추가하면서, S3 .. 2024. 2. 18. 이전 1 다음