duckdb1 DuckDB를 사용해서 Iceberg 테이블에 쿼리 실행하기 Iceberg테이블을 Glue Catalog로 관리하면서 사용하고 있는데, 해당 테이블에 쿼리를 실행하고자 해서 방법을 찾아봤다. 테이블의 용량이 크지 않아 스파크를 사용하고 있지 않다보니, Iceberg 테이블 쿼리에 많이 사용되는 Spark SQL 사용이 어려웠다. 이에 대한 대안으로 DuckDB를 사용하는 방법을 발견해서 적용해보았다.DuckDB를 사용해서 Iceberg 테이블에 쿼리를 하는 방안으로 2가지를 찾았다.DuckDB 라이브러리에서 Iceberg Extension을 설치해서 바로 테이블에 쿼리 실행PyIceberg로 테이블을 먼저 로드해서 이를 DuckDB에 연결 후 쿼리 실행두가지 방법 모두 시도해 본 결과 2번 방법을 채택해서 사용하기로 했다. 각 방법의 상세 내용을 아래에 기록하고자.. 2024. 9. 15. 이전 1 다음