2021-07-07から1日間の記事一覧

【分散処理】PySpark ~ パーティション単位で上書きするには ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/06/120134 で、パーティション付のテーブルにアクセスした際に 実ファイルがなくなっていた現象が発生していた。 この現象のそもそも原因が、ファイルを書きだすときの モード mode = overwrite …