전체 글110 Python - Conda 가상환경 만들고 버전 특정하기 가상환경 리스트 확인 conda env list 파이썬 버전을 특정해서 가상환경 생성 conda create -n jy-env python=3.11 가상환경 활성화 conda activate jy-env #결과 (jy-env) jy@JYs-MacBook-Pro Desktop % 특정 버전의 라이브러리 설치 pip install pandas=={version} # 예시 pip install pandas==1.5.1 2023. 9. 17. Lambda 이용해서 Cloudwatch Error 로그를 Slack으로 알림 보내기 Lambda를 작성하기 전에 알림을 보내고자 하는 슬랙 채널에 Webhook을 생성해야 한다. Webhook 생성방법은 아래의 블로그 글을 참고 했다. https://velog.io/@king/slack-incoming-webhook Lambda 생성 Lambda를 새로 생성한다. 여기서는 Python을 이용해서 코드를 작성할 예정이므로, Pyhon 버전을 3.9로 선택했다. IAM Role은 아래 정책을 포함하도록 만들어준다. 다수의 클라우드워치를 트리거로 설정할 예정이므로 클라우드워치 전체 엑세스 권한을 주었다. { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:*" ], "Resource": "arn:aw.. 2023. 9. 7. EKS Managed Nodegroup의 인스턴스 유형 변경하기 EKS 클러스터에서 Managed Nodegroup의 인스턴스 유형을 바꾸려고 한다. 노드그룹의 desired capacity등은 eksctl upgrade 명령어로 간편하게 가능하지만, 인스턴스 type을 바꾸기 위해서는 원하는 유형의 새로운 노드그룹을 생성하고, 기존 노드그룹에서 마이그레이션해서 사용하는 방식으로 변경해야 한다. 그래서 아래의 문서를 참고해서 진행하되, 각 상황에 맞게 변경해서 진행하면 된다. https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/migrate-stack.html 새 노드 그룹으로 마이그레이션 - Amazon EKS 새 노드 그룹으로 마이그레이션 이 주제에서는 새로운 노드 그룹을 생성하고, 기존 애플리케이션을 새 그룹으로 안.. 2023. 9. 3. Kinesis Firehose - Lambda를 이용한 Dynamic Partitioning구현 Lambda 생성 원하는 언어를 선택해서 Lambda를 생성한다. 여기서 Lamda 실행 IAM Role은 default로 생성되는 기본 role을 사용해도 되고, Lambda 함수 timeout은 1분 이상으로 설정한다. (링크에서 Firehose의 데이터를 변환하는 Python, Go 예제 코드를 확인 가능) 아래는 source record를 파싱해서 partition key를 지정하는 Python 예제 코드이다. from __future__ import print_function import base64 import json import datetime # Signature for all Lambda functions that user must implement def lambda_handler(f.. 2023. 8. 27. 이전 1 ··· 9 10 11 12 13 14 15 ··· 28 다음
