전체 글110 Window Function (윈도우 함수) 사용하기 윈도우 함수란? 윈도우 함수는 행의 집합을 대상으로 계산하는 함수이다. 행의 집합을 계산한다는 점에서 집계함수와 비슷하지만, 윈도우 함수는 각 행마다 처리 결과가 출력된다. 또한 윈도우 함수는 '윈도우 프레임'을 사용하여 처리하고자 하는 행의 범위를 지정 한다. 윈도우 함수 기본 구조 윈도우 함수는 OVER 구문이 필수로 정의되어야 하며, OVER 구문에서 윈도우 함수를 적용 할 데이터셋에 대한 구체적인 정보가 나열된다. (argument) OVER ( [PARTITION BY ] [ORDER BY ] [{ROWS | RANGE} ] ) window function: 윈도우 작업을 수행하는 함수. SUM(), RANK() 등 argument: 함수에 필요한 인수. 인수가 포함된 함수도 있고, 그렇지 않은.. 2023. 4. 9. OpenSearch Index Mapping 설정 및 변경 아래의 Workshop을 학습과정에서 Mapping을 변경을 수행하고 이를 정리한 것으로, 해당 Workshop와 동일한 데이터를 이용했다. Workshop Studio catalog.us-east-1.prod.workshops.aws Opensearch는 따로 매핑을 정의해 놓지 않으면 데이터가 입력되면서 자동으로 매핑이 생성된다. (사실, 위의 워크샵을 그대로 잘 따라가면 데이터 저장 전데매핑을 먼저 생성하는데.. 유튜브를 같이 보면서 따라하다가 놓쳐버렸다;;) 아래는 데이터를 저장하니 자동으로 생성된 매핑이다. GET /aws-blog/_mapping { "aws-blog": { "mappings": { "properties": { "author": { "type": "text", "fields":.. 2023. 4. 2. S3의 불필요한 객체들을 정리하도록 Lambda 작성 이전에 Lambda함수를 이용해서 클라우드 워치의 로그를 S3에 백업하도록 구성하였다. Cloudwatch의 로그 S3 백업을 자동화 하기(w/ AWS Lambda) 이때 AWS에서 제공하는 boto3 메소드를 이용했는데, 이렇게 이용하면 불필요한 파일과 디렉토리가 생성된다. 위에 첨부된 사진과 같이 aws-logs-write-test 파일이 모든 디렉토리에 생성되고, taskId명으로 생긴 폴더 내부에 또 새로운 폴더가 생성되고 백업된 로그 파일이 생성된다. 또한, 테스트파일은 해당일자에 로그가 없어서 디렉토리 생성이 필요가 없을때에도 생성된다. 따라서, 이렇게 불필요한 파일과 디렉토리를 정리하는 코드를 추가하였다. import os import datetime import time import bot.. 2023. 3. 13. 동적 인벤토리를 활용해 EC2 서버를 Ansible 그룹에 등록 동적 인벤토리를 제공하는 플러그인을 사용하면 Ansible에서 EC2 목록을 읽어와서 그룹으로 등록하여 사용 할 수 있다. 인벤토리 파일 작성 포함하거나 제외하고자 하는 필터를 지정 할 수 있고, 그룹을 정하는 기준을 정할 수도 있다. 물론, 기본적인 AWS 정보들 (Region, Credentials)를 지정해 줄 수도 있다. # aws_ec2.yml plugin: aws_ec2 regions: - ap-northeast-2 - us-east-2 - us-east-1 keyed_groups: # 리전을 기준으로 그룹을 나눈다. - key: placement.region prefix: aws_region # 그룹 명 = prefix + key(region명) filters: # include_filter.. 2023. 3. 5. 이전 1 ··· 14 15 16 17 18 19 20 ··· 28 다음
