AWS26 Amazon QuickSight에서 RDS/Redshift에 Private 연결 QuickSight에서는 RDS/Athena/Redshift 등을 통한 여러가지 소스데이터와의 통합을 지원한다.그 중 RDS나 Redshift 같이 인스턴스를 띄워서 사용하는 데이터 소스들이 있는데, 만약 이 데이터베이스가 프라이빗 서브넷에 배치되어 있고 퍼블릭 접근이 불가능 하도록 설정되어 있다면, 추가적으로 vpc connection을 생성해서 접근해야 한다.PrerequisitesQuickSight를 설정하려는 사용자가 Quicksight의 관리자여야 한다. Quicksight에 기본적으로 설정된 Admin인 경우에는 문제없이 진행 가능하다. 만약, custom permission을 사용한다면, 아래의 권한들이 포함되어 있는지 확인해야 한다."quicksight:ListVPCConnections"".. 2024. 6. 16. S3의 불필요한 객체들을 정리하도록 Lambda 작성 이전에 Lambda함수를 이용해서 클라우드 워치의 로그를 S3에 백업하도록 구성하였다. Cloudwatch의 로그 S3 백업을 자동화 하기(w/ AWS Lambda) 이때 AWS에서 제공하는 boto3 메소드를 이용했는데, 이렇게 이용하면 불필요한 파일과 디렉토리가 생성된다. 위에 첨부된 사진과 같이 aws-logs-write-test 파일이 모든 디렉토리에 생성되고, taskId명으로 생긴 폴더 내부에 또 새로운 폴더가 생성되고 백업된 로그 파일이 생성된다. 또한, 테스트파일은 해당일자에 로그가 없어서 디렉토리 생성이 필요가 없을때에도 생성된다. 따라서, 이렇게 불필요한 파일과 디렉토리를 정리하는 코드를 추가하였다. import os import datetime import time import bot.. 2023. 3. 13. AWS VPC - Public NAT Gateway 프라이빗 서브넷의 인스턴스가 VPC 외부의 서비스에 연결할 수 있지만 외부 서비스에서 이러한 인스턴스와의 연결을 시작할 수 없도록 NAT 게이트웨이를 사용할 수 있다. ⇒ 프라이빗 서브넷의 리소스들이 인터넷에 접속할 수 있지만, 원치 않는 인바운드 연결은 수신하지 않는다. 프라이빗 서브넷의 리소스들이 인터넷에 연결할 수 있도록 하려면 프라이빗 서브넷의 라우팅 테이블에서 NAT gateway로 라우팅 설정한다. NAT gateway는 퍼블릭 서브넷에 위치하며, 각 하나의 탄력적 IP(EIP)를 가져야 한다. 💡 NAT Gateway의 요금은 데이터 처리량에 따른 요금 외에도 시간당 0.059$의 기본요금이 부과된다. 하루에 2천원정도의 금액인데, 리소스 처럼 ON/OFF가 없이 항상 요금이 부과되는 항목이.. 2023. 2. 19. Amazon RDS Proxy 사용하기 AWS Lambda를 이용해서 서버리스 어플리케이션을 구성하여 RDS에 접속하려고 하면, 잦은 Lambda 호출로 인한 데이터베이스 커넥션 급증 문제가 발생 할 수 있다. 이러한 문제를 해결하기 위한 방법으로 AWS의 RDS Proxy를 이용 할 수 있다. Amazon RDS Proxy? RDS 프록시를 사용하여 예기치 않은 데이터베이스 트래픽 급증을 처리할 수 있습니다. 급증을 처리하지 않으면 연결 초과 구독 또는 빠른 속도의 새 연결 생성으로 인한 문제가 발생할 수 있습니다. RDS 프록시는 데이터베이스 연결 풀을 설정하고 이 풀에서 연결을 재사용합니다. 이 접근 방식은 매번 새 데이터베이스 연결을 여는 데서 오는 메모리 및 CPU 오버헤드 를 방지합니다. 과다 구독으로부터 데이터베이스를 보호하기 위.. 2023. 1. 1. 이전 1 2 3 4 ··· 7 다음
