2021-06-01から1日間の記事一覧

【分散処理】PySpark ~ CSV / Null・空文字・異常値の扱い ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/04/29/075903 の続き。 今回は、Null および 空文字 について、扱う。 調べてみると、読み込み時において、 それ以外の異常値(e.g. non-number)についても 指定できるらしいので、それらについても…