전체 글110 [Kubernetes] ServiceAccount와 RBAC로 외부에서 EKS 클러스터에 접근 로컬에서 구동하는 도커 컨테이너 내부에서 AWS EKS에 올라간 쿠버네티스 클러스터 API를 사용하고자 한다. AWS에서 안내하는 문서에서는 IAM Principal을 등록해서 사용하도록 안내하는데, 이렇게 되면 도커 컨테이너에 AWS CLI를 비롯한 계정 설정을 해주어야 하는 것 같았다. 실제 로컬 PC에서는 그렇게 사용하고 있지만, 도커 컨테이너 내부에서 사용하는 용도로는 적절하지 않다고 생각했다. 다른 방법을 찾아보던 중 아래 글을 보고, 특정 네임스페이스에만 접근하도록 권한을 제한하여 kubeconfig를 작성해서 kubeconfig 파일만을 이용해서 K8S API사용이 가능하도록 구성했다. (https://devocean.sk.com/blog/techBoardDetail.do?ID=165215.. 2024. 3. 24. docker-compose로 Airflow 설치하기 💡 Pre-requisite Docker 설치 (Memory 최소 4GB 이상, 8GB 권장) Docker Compose v2.14.0 이상 도커 컴포즈로 구성되는 서비스 목록 airflow-scheduler: 스케쥴러는 모든 tasks와 Dags를 모니터하고 task instance를 의존성에 맞게 트리거 airflow-webserver: 에어플로우 UI를 제공하는 웹서버로, http://localhost:8080로 접속가능 airflow-worker: 스케쥴러로 부터 부여받은 태스크를 실행하는 워커 airflow-triggerrer: 외부이벤트나 조건에 따라 작업을 실행시키도록 함 airflow-init: 에어플로우 초기화 postgres: 백엔드 데이터베이스 redis: 스케쥴러에서 워커로 메세지를.. 2024. 3. 17. 테라폼 상태파일 remote state 구성 테라폼 상태파일 이란? 테라폼을 사용해 인프라를 배포하면 별다른 설정 없이 테라폼 실행 위치에 *.tfstate 파일이 생성되는 것을 발견 할 수 있다. 이 파일에는 테라폼이 관리하는 모든 리소스의 상태, 구성 및 관계 등이 포함되어 현재 인프라의 현재 상태를 알 수 있도록 해준다. 테라폼은 이 상태파일을 사용하여 인프라를 관리하고 추적하며, 테라폼 명령을 실행 할 때마다 상태파일을 업데이트 하면서 변경사항을 식별하고 적용한다. Remote state 구성 왜 remote state를 구성하여 상태파일을 관리해야 할까? Local state를 사용하면 안되는 이유는 다음과 같다. 개발자들이 각자 로컬에서 테라폼 명령어를 실행하고 관리한다면, 각자 다른 상태파일을 갖게 되어 현재상태로 동기화 되지 않은 상.. 2024. 3. 10. 쿠버네티스 메트릭 수집도구 프로메테우스, 빅토리아 메트릭스 등 모니터링 도구를 이용해서 쿠버네티스 모니터링을 위한 메트릭을 수집 할 때, 가장 많이 접하게 되는 대표적인 메트릭 수집 도구 3가지(cAdvIsor, kube-stale-melrics, node-exporter)를 알아보자 cAdvIsor kubelet에 내장되어 있는 메트릭 수집 도구로, 컨테이너 수준의 메트릭을 반환한다. 각 컨테이너에 에이전트를 설치하여, 컨테이너의 CPU, 메모리, 디스크, 네트워크 등의 지표를 수집한다. 프로메테우스나 빅토리아 메트릭스 같은 모니터링 도구에서는 /metrics/cadvisor 경로를 통해 cAdvisor의 메트릭을 가져온다. kube-state-metrics 쿠버네티스 리소스의 상태에 관한 메트릭을 반환한다. 리소스의 상태정보를.. 2024. 3. 2. 이전 1 ··· 4 5 6 7 8 9 10 ··· 28 다음