데이터 수집1 견고한 데이터 엔지니어링 - 데이터 수집 아래 내용은 견고한 데이터 엔지니어링(조 라이스, 맷 하우슬리 지음)의 7장의 내용 일부를 정리한 것이다. 7.1 데이터 수집이란?원천시스템에서 스토리지로 데이터가 이동하는 것으로, 데이터 엔지니어링 수명 주기에서 중간 단계에서 이루어 진다.데이터 파이프라인이란? 데이터 파이프라인은 데이터 엔지니어링 수명 주기의 단계를 통해 데이터를 이동시키는 아키텍처, 시스템 및 프로세스의 조합7.2 수집 단계의 주요 엔지니어링 고려사항수집 시스템을 설계,구축 할때 고민해봐야 할 질문들수집 데이터의 사용 사례데이터 재사용성데이터 목적지갱신 주기데이터 양데이터 형식데이터 품질데이터 처리 필요 여부수집 아키텍처를 설계할 때 고려해야 하는 요소유한 데이터 vs 무한 데이터빈도동기 수집 vs 비동기 수집직렬화와 역질렬화처리량.. 2024. 8. 18. 이전 1 다음