전체 글110 M1 Mac에 Terraform 설치 프로그램 설치 Option 1. Hombrew 사용 Homebrew 업데이트 brew update 패키지 설치 brew tap hashicorp/tap Terraform 설치 brew install hashicorp/tap/terraform Terraform 최신버전 업그레이드 brew update brew upgrade hashicorp/tap/terraform Option 2. 컴파일된 바이너리 다운로드 아래 링크에서 바이너리 파일 다운로드 Install | Terraform | HashiCorp Developer 경로확인 후 파일 이동 echo $PATH #다운로드 한 바이너리 파일 이동 #아래는 $PATH에 /usr/local/bin/ 가 포함되어 있다고 가정하고 진행됨 #permission de.. 2023. 12. 3. MSK(Kafka) Best Practice Cluster 운영 브로커 유형에 따른 권장 파티션 수를 초과하지 않도록 한다. kafka.t3.small 300 kafka.m5.large or kafka.m5.xlarge 1000 kafka.m5.2xlarge 2000 kafka.m5.4xlarge, kafka.m5.8xlarge, kafka.m5.12xlarge, kafka.m5.16xlarge, or kafka.m5.24xlarge 4000 브로커의 총 CPU 사용률 (CPU User + CPU System) 을 60% 미만으로 유지한다. 디스크 공간 확보를 위해, KafkaDataLogsDiskUsed 값을 85% 미만으로 유지한다. Topic 생성 Topic name은 Convention을 정해서 표준화된 Topic name을 사용 할 수 있.. 2023. 11. 26. MSK 클러스터에 S3 sink connector 연결해서 S3에 데이터 적재하기 💡 MSK Connector는 연결하고자 하는 MSK Cluster의 인증방식으로 인증없음이나 IAM 인증만 지원한다. MSK에서 S3 Sink Connector를 사용해서 S3에 접근하기 위해서는 Connector 생성 전에 아래 두개의 리소스가 먼저 생성되어야 한다. S3 서비스 VPC 엔드포인트 Connector에 부여할 IAM Role S3 서비스 VPC 엔드포인트 생성 VPC Console -> Virtual private cloud -> endpoints 접속 -> endpoint 생성 Service에서 s3 검색 Type이 Gateway인 서비스 선택 VPC: msk cluster가 있는 VPC 선택 라우팅 테이블: msk cluster에 연결된 라우팅 테이블 선택 정책: 전체 엑세스 Kaf.. 2023. 11. 12. Airflow Dag 작성 Best practice Airflow 공식홈페이지에서 안내하는 Dag 작성 Best practice를 기반으로 평소에 염두해 두고 코드를 작성하기 위해서 정리했다. 참고: https://airflow.apache.org/docs/apache-airflow/2.0.0/best-practices.html#writing-a-dag 🏅 Airflow Best Practice DAG 작성 Task 사이의 데이터 전달은 작은 사이즈는 Xcom 을 사용하고, 대용량은 S3/HDFS 같은 외부 저장소를 사용한다. Airflow에 등록한 Variable은 Operator의 execute()나 Jinja template 외에서의 사용은 지양한다. 불필요한 top level code는 지양한다. import pendulum from airflow.. 2023. 11. 5. 이전 1 ··· 7 8 9 10 11 12 13 ··· 28 다음
