■ はじめに
https://dk521123.hatenablog.com/entry/2023/03/17/000000
で調査する過程で、 Glue4.0 がリリースしていることが分かったので、調べてみた
目次
【１】リリース時期 １）メモ：Legacy pagesのJobからは選択できない 【２】各バージョンの更新 【３】Pandas サポート 【４】その他詳細 【５】制限事項
【１】リリース時期
* Nov 28, 2022 (去年リリースしたのか、、、)
https://aws.amazon.com/jp/about-aws/whats-new/2022/11/introducing-aws-glue-4-0/
https://aws.amazon.com/jp/blogs/news/new-aws-glue-4-0-new-and-updated-engines-more-data-formats-and-more/
１）メモ：Legacy pagesのJobからは選択できない
* AWS Glue Studioでは選択できるが、Legacy pagesのJobからは選択できない、、、 => バグ？わざと？？？
【２】各バージョンの更新
* Pythonのバージョンが大幅に上がっている
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/release-notes.html
| Glue version | Spark version | Scala version | Python version |
|---|---|---|---|
| Glue4.0 | Apache Spark 3.3.0 | Scala 2.12 | Python 3.10 |
| Glue3.0 | Apache Spark 3.1.1 | Scala 2.12 | Python 3.7 |
* 他にも、コネクタや log4j 1 => log4j 2 にアップグレード
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/release-notes.html
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/migrating-version-40.html#migrating-version-40-appendix-connector
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/migrating-version-40.html#migrating-version-40-appendix-jdbc-driver
【３】Pandas サポート
* さっそくバグレポートが、、、
【４】その他詳細
* その他詳細な変更点は、以下の公式ドキュメントを参照。
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/migrating-version-40.html
個人的に気になった変更点
* Spark ジョブは、1 秒単位で課金され、最小課金時間は 1/10 になります。 つまり、最小 10 分が最小 1 分になります。
【５】制限事項
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/release-notes.html
より抜粋 AWS Glue 4.0 での制限事項を次に示します。 * AWS Glue インタラクティブセッションは、 AWS Glue 4.0 ではまだご利用いただけません。 * AWS Glue 機械学習変換と個人を特定できる情報 (PII) 変換は AWS Glue 4.0 ではまだ使用できません。
参考文献
https://dev.classmethod.jp/articles/glue4-released/
関連記事
AWS Glue ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ～ 基本編 / ジョブ ～
https://dk521123.hatenablog.com/entry/2019/11/17/231505
AWS Glue ～ Glue Version 2.0 ～
https://dk521123.hatenablog.com/entry/2020/08/19/130118
AWS Glue ～ Glue Version 3.0 ～
https://dk521123.hatenablog.com/entry/2021/09/18/232556
AWS Glue ～ Scalaでの実装 ～
https://dk521123.hatenablog.com/entry/2023/03/17/000000
