2021-05-20から1日間の記事一覧

【分散処理】PySpark ~ UDF の使用上の注意 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/20/195621 の続き。 PySpark の UDF (User Defined Function) で ミスった点や注意点などをあげておく。 目次 【1】メモリ消費について 【2】デコレータによる実装方法に関する注意点 【3】引…