■ はじめに https://dk521123.hatenablog.com/entry/2019/12/01/003455 で行ったクローラでの動作後に AWS Glue で [Databases]-[Tables] に遷移して クローリング結果を確認する際に表示項目などに不明点があった。 そこで、今回は、そのページおよびその派…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/20/195621 で、PySpark の UDF (User Defined Function) 定義方法 について、扱ったが Udacity（ユダシティ）の Freeコース「Spark」で 別の方法を取り扱っていた。 https://www.udacity.com/cour…

■ はじめに https://dk521123.hatenablog.com/entry/2021/02/11/233633 で記載した警告文 ~~~~~~~ unix_timestamp(void) is deprecated. Use current_timestamp instead. ~~~~~~~ に対応し、クエリを修正したのだが、 修正前と修正後の確認で、SQL文「MINUS…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/04/150942 の続き。 今回は、テーブルデータの集計に関して扱う。 目次 【０】agg (集計) 【１】min/max (最小/最大) 【２】count (カウント) 【３】countDistinct (重複カウント) 他にも、sum (…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/04/150942 https://dk521123.hatenablog.com/entry/2020/05/18/154829 https://dk521123.hatenablog.com/entry/2020/08/28/183706 の続き。 今回は、テーブルデータを集計するにあたり、 テーブル…

■ はじめに PySpark でファイルを出力した際に、 サイズが0Byteの空ファイルが出力されたので 対応について調べてみた。 ついでに、ファイルを1つにまとめることも載せておく。 目次 【１】対応方法 【２】出力ファイルが空ファイルになる １）出力される原…

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/20/195621 の続き。 PySpark の UDF (User Defined Function) で ミスった点や注意点などをあげておく。 目次 【１】メモリ消費について 【２】デコレータによる実装方法に関する注意点 【３】引…

■ はじめに https://dk521123.hatenablog.com/entry/2021/04/06/001709 より分冊および追記。 RDD <=> DataFrame の相互変換について扱う。 目次 【１】RDD => DataFrame １）createDataFrame() ２）spark.read.csv() 補足：TSVなど区切り文字を変更して変更…

■ はじめに AWS Glue 上で RDD.saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生したので その際のトラブルシュートをメモする。 目次 【１】エラー内容 【２】発生したコード（一部） 【３】解決案 案１：DirectFileOutputCom…

■ はじめに https://dk521123.hatenablog.com/entry/2021/05/15/130604 を調査している際に、以下「参考サイト」で 『GlueのSparkバージョンが2.3.0になれば』って記載されていた。 で、以下のAWS Glue の公式サイト https://docs.aws.amazon.com/ja_jp/glue…

■ はじめに https://dk521123.hatenablog.com/entry/2021/05/14/095125 の続き。 Glue Job からパーティション更新を行うことを考える。 目次 ■ Job からパーティション更新実装案 ■ 案１）GlueContext クラスを駆使して実装する 方法 1：write_dynamic_fram…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/01/003455 の続き。 今回は、Glue で作成したファイルを外部テーブルにする際に 得た知識・ノウハウをメモしておく。 軽く書くつもりが、結構なボリュームになってしまった、、、 目次 【１】Glue…

■ はじめに PySpark に関して、 パーティション (Partition) 付きでファイル出力があったので そのことを含めて、パーティションにまつわるTipsをまとめておく cf. Partition = 仕切り壁、分割、分配 目次 【１】パーティションの基本操作 １）現在のパーテ…

■ はじめに PySpark で ファイルを出力した場合 出力先パスは指定できるが、ファイル名は勝手に決められる。 このファイル名を変更するやり方を調べてみた。 目次 【１】PySpark での リネーム方法 【２】サンプル 【３】補足１：拡張子 CRCファイル につい…

■ はじめに Glue から DataCatalogテーブル に対して Spark SQLを実行した際に、いくつか注意点があるので メモしておく 目次 【１】使用上の注意 １）Glue Job で Glue DataCatalog を有効にする ２）「select * from [DB].[Table] ...」ではなく「use [DB]…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 https://dk521123.hatenablog.com/entry/2020/10/12/152659 https://dk521123.hatenablog.com/entry/2021/02/16/145848 の続き。 今回も、AWS Glue の job で発生したトラブルについて…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/12/145237 https://dk521123.hatenablog.com/entry/2020/04/03/000000 https://dk521123.hatenablog.com/entry/2020/04/05/000000 の続き。 Go言語における気になる文法事項で、以下の通り。 ~~~~…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/12/145237 https://dk521123.hatenablog.com/entry/2020/04/03/000000 https://dk521123.hatenablog.com/entry/2020/04/05/000000 https://dk521123.hatenablog.com/entry/2021/05/01/000000 の続…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/12/145237 https://dk521123.hatenablog.com/entry/2020/04/03/000000 https://dk521123.hatenablog.com/entry/2020/04/05/000000 の続き。 今回は、「関数」を扱う。 なお、実行環境は、以下のサ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/12/145237 https://dk521123.hatenablog.com/entry/2020/04/03/000000 https://dk521123.hatenablog.com/entry/2020/04/05/000000 の続き。 他に気になる文法事項で、以下の通り。 ~~~~~~~~~~~~~~…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/12/145237 https://dk521123.hatenablog.com/entry/2020/04/03/000000 https://dk521123.hatenablog.com/entry/2020/04/05/000000 の続き。 他に気になる文法事項で、以下の通り。 ~~~~~~~~~~~~~~…