전체 글110 Fluent Bit에서 특정 패턴 Exclude 하기 Grep Filter Fluent bit에서 제공하는 필터 중 하나. Grep Filter를 이용해서 특정 패턴의 데이터를 Select 하거나 Exclude 할 수 있다. Grep Filter는 아래와 같은 구조를 기본으로 사용 가능하다. [FILTER] Name grep Match #tag Regex or Exclude # Pattern 지정 Regex: 지정하는 패턴을 Select 함. 해당 패턴의 데이터만 추출 됨 Exclude: 지정하는 패턴을 Exclude 함. 해당 패턴의 데이터들은 제거됨. 필수로 지정해야 하는 파라미터 외에도 한개의 Optional 파라미터를 더 지원한다. Logical_Op: 논리 연산자 지정(AND, OR, legacy). Default는 legacy이며, includi.. 2023. 7. 23. Recursive Query(재귀 쿼리) 알아보기 재귀쿼리란? 재귀쿼리는 쿼리 내에서 자기자신을 참조하여 반복적으로 실행되는 쿼리이다. 즉, 쿼리가 반복적으로 실행되면서 이전 단계의 결과를 이용하여 현재 단계의 결과를 도출해 내는 것을 반복하여 최종 결과를 반환한다. 재퀴쿼리는 주로 계층적인 데이터 구조를 다룰 때 유용하게 사용된다. 재귀쿼리 구조 재귀 쿼리를 만들기 위해 CTE(공통 테이블 식, Common Table Expressions)을 활용한다. CTE는 쿼리에서 임시적으로 사용할 수 있는 이름이 지정된 일시적인 결과 집합이다. CTE는 WITH 절을 사용하여 정의되며, 재귀 쿼리의 시작 지점과 재귀 쿼리 자체를 정의하는 두 부분으로 구성된다. WITH RECURSIVE cte_name [(col1, col2 ...)] AS ( -- 초기 쿼리.. 2023. 7. 16. Flink Datastream 변환 연산 정리 - KeyedStream 변환 연산 Flink Datastream 변환 연산 정리 - 기본 변환 의 글에서 이어지는 글이다. KeyedStream 변환 연산은 입력레코드의 특정 Key를 기준으로 레코드를 분류해서 처리하는 연산이다. DataStream으로 들어오는 입력 레코드를 keyBy 연산을 이용해서 각 key의 값별로 분류된 KeyedStream으로 내보낸다. KeyBy 연산을 자세하게 알아보기에 앞서, 이전 글과 마찬가지로 이번 글에서 작성할 예제 코드 들은 아래와 같은 형식을 갖는 Json 타입의 DataStream을 입력 이벤트로 받아 처리하는 코드이다. { "meta": { "time": 1687140191352, "message_id": "msg-230619110311352" }, "event": { "event_type":.. 2023. 7. 2. Flink Datastream 변환 연산 정리 - 기본 변환 이번에 Amazon Kinesis Data Analytics를 사용하면서 Flink를 공부하는 중에 많이 쓰이는 변환연산을 정리해 두려고 한다. Flink를 공부하면서 “아파치 플링크로 하는 데이터 처리, 파비안 휴스케, 바실리키 칼라브리, 에이콘” 책을 참고하였고, 이 글에 작성되는 내용의 일부는 책의 내용을 가져 왔다. 변환 연산? 변환 연산은 말 그대로 DataStream을 입력받아서 여러 종류의 변환을 거친 뒤 입력 값과 다른형태의 출력값을 내보낸다. DataStream API 작성의 본질은 애플리케이션 로직을 구현하는 데이터플로우를 생성 할 때 여러 변환 연산을 조합하는 것 이라 할 수 있다. 거의 모든 변환 연산은 사용자 정의 함수를 바탕으로 하며, 변환 복적의 함수 인터페이스를 클래스로 구현.. 2023. 6. 22. 이전 1 ··· 11 12 13 14 15 16 17 ··· 28 다음