Fluentd -> Kinesis Data Stream -> S3

1. Kinesis data stream 생성

aws kinesis create-stream --stream-name test-stream

• 생성 확인 → 상태가 Active이면 사용 가능

aws kinesis describe-stream-summary --stream-name test-stream

• 스트림 리스트 확인

aws kinesis list-streams

2. fluentd에서 output에 kinesis 설정

→ fluentd container에 aws credentials가 환경변수로서 등록되어 있어, 여기서 따로 추가하지 않음

<match web.*>
  @type kinesis_streams
  region ap-northeast-2
  stream_name test-stream
</match>

3. Kinesis Data Streams 에서 Kinesis Firehose로 S3에 저장하기

• Firehose 생성

• Kinesis Datastream 지정

• S3 지정