본문 바로가기

Amazon AWS/S35

Amazon S3 스토리지 클래스 정리 S3는 요구사항에 따라 선택할 수 있는 다양한 스토리지 클래스를 제공한다. 일반적으로 사용되는 스탠다드 외에도 다른 스토리지 클래스에 대하여 이해하고 있으면, 더 비용효율적이고 요구에 맞는 설계를 할 수 있다.💡 Amazon S3? Amazon Simple Storage Service(Amazon S3)는 클라우드 기반의 객체 스토리지 서비스로, 여러 종류의 스토리지 클래스를 제공하여 데이터의 보존 기간, 가용성, 내구성 및 비용에 대한 요구 사항을 충족시킬 수 있다. 모든 규모와 분야에서 S3를 사용하여 데이터 레이크, 웹사이트, 모바일 어플리케이션, 백업 및 복원, 아카이브, IoT 디바이스, 빅데이터 분석 등 다양한 사용 사례에서 원하는 양의 데이터를 저장하고 보호 할 수 있다. Amazon S3 .. 2023. 5. 21.
S3의 불필요한 객체들을 정리하도록 Lambda 작성 이전에 Lambda함수를 이용해서 클라우드 워치의 로그를 S3에 백업하도록 구성하였다. Cloudwatch의 로그 S3 백업을 자동화 하기(w/ AWS Lambda) 이때 AWS에서 제공하는 boto3 메소드를 이용했는데, 이렇게 이용하면 불필요한 파일과 디렉토리가 생성된다. 위에 첨부된 사진과 같이 aws-logs-write-test 파일이 모든 디렉토리에 생성되고, taskId명으로 생긴 폴더 내부에 또 새로운 폴더가 생성되고 백업된 로그 파일이 생성된다. 또한, 테스트파일은 해당일자에 로그가 없어서 디렉토리 생성이 필요가 없을때에도 생성된다. 따라서, 이렇게 불필요한 파일과 디렉토리를 정리하는 코드를 추가하였다. import os import datetime import time import bot.. 2023. 3. 13.
Presigned Url을 이용하여 외부에서 S3에 접근 S3에 파일을 업로드/다운로드 하기 위한 방법으로는 여러가지가 있다. 그 중에서도 Presigned Url(미리 서명된 URL)을 사용하면, S3버킷이 있는 계정의 IAM User/Role정보를 갖고 있지 않아도 버킷에 접근하도록 할 수 있다. 아래는 AWS 공식문서의 설명이다. 모든 객체 및 버킷은 기본적으로 프라이빗입니다. 그러나 미리 서명된 URL을 사용하여 선택적으로 객체를 공유하거나 고객/사용자가 AWS 보안 자격 증명이나 권한 없이 버킷에 객체를 업로드하는 것을 허용할 수 있습니다. 미리 서명된 URL을 사용하면 Amazon S3 버킷에 액세스하는 데 사용할 수 있는 URL을 생성할 수 있습니다. 미리 서명된 URL을 생성하면 특정 작업과 연결됩니다. URL을 공유할 수 있으며 URL에 액세스.. 2022. 12. 18.
AWS Athena를 사용해서 S3의 데이터에 쿼리 쓰기 S3에 저장되어 있는 데이터들을 조회할 때, AWS의 Athena 서비스를 이용하면 S3의 파일들을 다운받거나 불러오지 않더라도 표준 SQL을 사용해서 쿼리로 편하게 데이터를 조회할 수 있다. Amazon Athena란 무엇인가요? (AWS 문서 설명: https://docs.aws.amazon.com/ko_kr/athena/latest/ug/what-is.html) Amazon Athena는 표준 SQL을 사용하여 Amazon S3(Amazon Simple Storage Service)에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. AWS Management Console에서 몇 가지 작업을 수행하면 Athena에서 Amazon S3에 저장된 데이터를 지정하고 표준 SQL을 .. 2022. 11. 20.

티스토리툴바