전체 글110 Jenkins - AWS ECR에 이미지 Push 1. 플러그인 설치 Amazon ECR Docker Pipeline 2. Docker compose 파일 수정 아래 두개의 볼륨이 없으면, docker: not found 에러 발생 - /usr/bin/docker:/usr/bin/docker - /var/run/docker.sock:/var/run/docker.sock 결과 docker-compose.yml 파일 services: jenkins: image: jenkins/jenkins:lts user: root privileged: true ports: - "8090:8080" volumes: - ./jenkins_home:/var/jenkins_home - /usr/bin/docker:/usr/bin/docker - /var/run/docker.so.. 2023. 8. 20. EC2 인스턴스 구입 옵션 On-Demand Instances - 인스턴스에 대한 비용을 초 단위로 지불 Savings Plans - 1년 또는 3년 기간 동안 시간당 USD로 일관된 사용량을 약정하여 Amazon EC2 비용을 절감 Reserved Instances(RI) - 1년 또는 3년 기간 동안 인스턴스 유형 및 리전을 포함하여 일관된 인스턴스 구성을 약정하여 Amazon EC2 비용을 절감 Spot Instances - 미사용 EC2 인스턴스를 요청 On-Demand Instances 온디맨드 인스턴스는 장기 약정없이 컴퓨팅 용량에 대해 초 단위로 과금 사용자가 인스턴스의 생성, 중지, 절전, 시작, 재부팅, 종료의 시기를 완전히 결정 할 수 있음 인스턴스가 Running 상태인 시간(최소 60s)에 대해서만 비용을 지.. 2023. 8. 13. MSK - Kafka console producer, consumer 사용 AWS MSK를 사용한다면 client.properties 파일을 이용해서 클라이언트 명령어를 사용해야 정상적으로 접속이 가능하다. 아래는 MSK로 클러스터를 구성하였고, 인증방식을 IAM으로 선택하였을때의 client.properties의 내용 security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler 위의 파일을 이용하는 것 외에도, 설정한 인증방식에 맞게 필요한 사전 작업들을 해주.. 2023. 8. 6. Apache Kafka 알아보기 Apache Kafka? Kafka는 2011년 링크드인에서 실시간 데이터 피드를 관리하기 위해 개발한 이벤트 스트리밍 플랫폼이다. Kafka는 고성능 분산 스트리밍 플랫폼으로, 분당 수십억개의 스트리밍 이벤트를 처리 할 수 있다. 카프카의 핵심 기능 애플리케이션에서 데이터 또는 이벤트 스트림을 게시(publish)하거나 구독(subscribe to)할 수 있음 원하는 기간 동안 스트림을 내구적이고 신뢰성 있게 저장 할 수 있음 데이터를 생성 즉시 실시간 처리 할 수 있으며, 순서를 보장함 카프카 구조 브로커 (Broker): 카프카 클러스터의 핵심 구성 요소로, 메시지들을 저장하고 처리하는 노드 여러 대의 브로커로 구성된 클러스터를 형성하여 데이터를 분산 저장하고 처리 토픽 (Topic): 메시지들을 .. 2023. 7. 27. 이전 1 ··· 10 11 12 13 14 15 16 ··· 28 다음
