분류 전체보기110 Delta Lake 테이블의 history를 이용한 Time Travel, Restore Table Delta Lake 테이블에 수정을 발생시키는 각 operation 마다 새로운 테이블 version을 생성한다. 트랜잭션 로그에 기록된 Timestamp와 테이블 Version으로 특정 시점의 이전 테이블을 조회하거나 복원할 수 있다. (History output의 스키마, 지원 timestamp 형식 등 자세한 내용은 링크 참고) 대표적으로 아래와 같은 작업들을 수행 할 수 있다.작업 감사(Audit)테이블 변경 이력을 확인하여 누가, 언제, 어떤 작업을 수행했는지 추적테이블 롤백(Rollback)잘못된 데이터 수정이 발생한 경우, 특정 시점의 테이블 버전으로 되돌림특정 시점 데이터 조회시간 여행(Time Travel) 기능을 사용하여 특정 시점의 데이터 상태를 쿼리복원/시간여행이 가능한 테이블 버.. 2024. 12. 11. Superset에서 쿼리에 Jinja 템플릿 사용하기 Superset 에서 대시보드의 데이터를 조회하는 쿼리를 작성할때, 조회 기준 일자와 같이 특정 변수들은 Jinja context에서 사용가능하도록 되어있다. 하지만 기본적으로는 Jinja Template 사용이 활성화 되어있지 않기 때문에, 해당 기능을 활성화 시켜주는 작업이 필요하다. Jinja 템플릿으로 어떤 변수들이 사용가능한지는 아래 문서를 참고하면 된다.https://superset.apache.org/docs/configuration/sql-templating/ SQL Templating | SupersetJinja Templatessuperset.apache.org내 경우에는 Helm 차트를 사용해서 Superset을 쿠버네티스 환경에 설치해서 사용 중으로, Helm 차트의 values.y.. 2024. 10. 20. Superset에서 Viewer 권한관리 대시보드는 사내 다수의 사용자가 접근해서 사용하다보니 사용자별, 그룹별 권한관리가 필수적이다. 이번에 대시보드를 다른 팀에 제공하기 위해서 대시보드 접근 권한관리를 알아본 내용을 정리했다.슈퍼셋에서는 Viewer 사용자 권한 세부제어를 위해서 기본제공하는 Gamma 권한을 기본으로 사용하고 여기에 필요 권한을 추가해서 사용하는 것을 권장한다. Gamma권한은 슈퍼셋에 기본적으로 설정되어 있는 권한으로 이 권한 자체를 수정하는것이 아니라, Gamma를 기본 권한으로 두고 필요한 권한을 따로 추가해서 사용하도록 안내한다. 여기서 Gamma Role은 일반적으로 Veiw를 위주로한 권한이 제공되며 추가로 차트/대시보드 생성의 역할이 부여된다. 다만 Gamma role에서 작성권한은 다른 사람이 만든 대시보드/.. 2024. 10. 13. 분석, 머신러닝 및 역 ETL을 위한 데이터 서빙 9.1 데이터 서빙의 일반적인 고려 사항9.1.1 신뢰- 데이터 검증: 정보를 정확하게 나타내기 위해 데이터를 분석 - 데이터 관찰 가능성: 데이터와 데이터 프로세스에 대한 지속적인 뷰를 제공 - 최종사용자 및 업스트림 이해관계자와 서비스 수준 협약(SLA), 서비스 수준 목표(SLO)에 대한 신뢰를 쌓아야함9.1.2 사용사례는 무엇이며 사용자는 누구인가?- 데이터는 보고서와 대시보드를 보는데 그치지 않고, 행동으로 이어질 때 최상의 효과를 발휘한다. - 사용사례를 모색할때는 ‘어떤 행동을 트리거하며 누가 수행할 것인가’를 고려하고, 고객의 기대와 목표를 이해해야한다.9.1.3 데이터 제품- 요구사항과 맞지 않게 단순히 구축하는 것은 전형적인 엔지니어링 실수 - 좋은 데이터 제품에는 긍정적인 피드백 루프.. 2024. 9. 22. 이전 1 2 3 4 5 ··· 28 다음
