pyiceberg1 pyiceberg와 Glue Catalog를 이용한 Apache Iceberg 사용 필요 라이브러리 설치pip 업그레이드pip install --upgrade pippyiceberg와 필요 의존성 설치 - 아래 예제에서는 catalog로 glue를, 저장소로 s3를 사용할 예정이므로 glue, s3fs 를 설치pip install "pyiceberg[glue,s3fs]"카탈로그 설정pyiceberg 사용사례가 검색했을때 많지 않았고, 그 중에서 GlueCatalog를 사용해서 카탈로그 관리를 하는 예시를 찾기가 어려웠다.다른 카탈로그나 조금 다른 경우의 사용사례를 찾아봤을때 .pyiceber.yaml 파일을 이용하는 방식을 보고 적용해 보았는데, 내 경우에는 잘 작동하지 않는 듯 하다.그래서 여러번의 시도를 한 끝에 아래의 방법으로 잘 동작하는 것을 알아냈다.from pyiceberg... 2024. 6. 30. 이전 1 다음