■ はじめに

Glue について、徐々に調べて書き込んでおく

【１】AWS Glue
【２】Lambda との違い
【３】使用上の注意
　１）サポートバージョンに注意
　２）ジョブタイプ「Spark」でサポート外のモジュールがある
　３）IAM権限設定が必要
【４】全体像
　１）全体の流れ
　２）構成要素
【５】Glue のセキュリティ設定

【１】AWS Glue

* Glue (グルー) : 糊、接着剤
　⇒ AWSの各種サービス間を繋ぐ役割

* AWS上に保管しているデータ(Ex. S3)を
  抽出-Extract、変換-Transform、ロード-Load (ETL)するサービス

１）チュートリアルについて

サービスメニュー内にガイド付きチュートリアルがある
　⇒ ありそうでなかった！詳細は、以下のサイトを参照。

https://dev.classmethod.jp/cloud/aws/aws-glue-tutorial/

【２】Lambda との違い

１）時間制限がない
２）使用メモリが大きい
３）サポートするPythonバージョンやライブラリ
４）コスト

【３】使用上の注意

１）サポートバージョンに注意

* Glue バージョンにより、Spark/Pythonのサポートバージョンが異なる
* どちらも最新バージョンではないので注意

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job.html より抜粋

Glue バージョン	Spark	Python2	Python3	備考
0.9	Spark 2.2.1	Python 2.7	-	-
1.0	Spark 2.4.3	Python 2.7	Python 3.6	-
2.0	Spark 2.4.3	-	Python 3.7	※
3.0	Spark 3.1.1	-	Python 3.7	※
4.0	Spark 3.3.0	-	Python 3.10	※

※ Glue2.0~ について

* 以下の関連記事を参照のこと

AWS Glue ～ Glue Version 2.0 ～
https://dk521123.hatenablog.com/entry/2020/08/19/130118
AWS Glue ～ Glue Version 3.0 ～
https://dk521123.hatenablog.com/entry/2021/09/18/232556
AWS Glue ～ Glue Version 4.0 ～
https://dk521123.hatenablog.com/entry/2023/03/15/000000

Glue バージョンに関わるトラブル

　以下の関連記事 の
「【１】別環境に移行したらPySparkジョブで
　「ImportError: cannot import name timezone」が発生」
を参照のこと

https://dk521123.hatenablog.com/entry/2019/10/25/232155

２）ジョブタイプ「Spark」でサポート外のモジュールがある

* ジョブタイプ「Spark」の場合、
　Python以外の言語で書かれた拡張機能（pandas など）は
　サポート外（ジョブタイプ「Python shell」だと使用可能）
詳細は、以下の関連記事を参照。

https://dk521123.hatenablog.com/entry/2019/11/17/231505

３）IAM権限設定が必要

* 例えば、「AWSGlueServiceRole」や「AmazonS3FullAccess」を付与する。
* 以下のサイトを参照

https://dev.classmethod.jp/cloud/aws/getting-started-aws-glue-iam-environment-setting/

【４】全体像

https://d1.awsstatic.com/webinars/jp/pdf/services/20190806_AWS-BlackBelt_Glue.pdf

の P15 「AWS Glueの全体像」がわかりやすい

１）全体の流れ

[1] クローラがデータソースのメタデータをクロールする
[2] クローラがメタデータをデータカタログに登録・更新する
[3] トリガーでジョブの実行タイミングを定義する
[4] データカタログのメタデータを元に、データソースからデータを抽出する
[5] ジョブを実行し、データターゲットに出力する

２）構成要素

[a] ジョブ（Job）

* 1つのタスク（処理）を記述
* 詳細は、以下の関連記事を参照。

https://dk521123.hatenablog.com/entry/2019/11/17/231505

[b] トリガ

* ジョブを開始する引き金（トリガー）を定義できる機能
* 詳細は、以下の関連記事を参照。

https://dk521123.hatenablog.com/entry/2019/11/29/221207

[c] クローラ（Clawer）

* S3においてあるファイルの内容やフォルダ構成から
  自動的にテーブルスキーマを解析し、データカタログに保存
* 詳細は、以下の関連記事を参照。

https://dk521123.hatenablog.com/entry/2019/12/01/003455

【５】Glue のセキュリティ設定

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/encryption-at-rest.html

[設定]（Settings）から、以下の項目を暗号化できる
～～～～
[1] Data Catalog の暗号化（Metadata encryption）
[2] 接続パスワードの暗号化（Encrypt connection passwords）
～～～～

※ 暗号化する際には、KMS（Key Management Service）が必要

AWS Key Management Service (KMS)
https://dk521123.hatenablog.com/entry/2020/02/27/232553

参考文献

https://style.potepan.com/articles/12944.html
https://dev.classmethod.jp/cloud/aws/aws-glue-is-full-managed-and-serverless-service/
https://qiita.com/erikaadno/items/94a26f1ea1a829545812
https://dev.classmethod.jp/cloud/aws/relay_looking_back_aws_glue/
https://blog.engineer.adways.net/entry/advent_calendar_2017/05
https://www.qoosky.io/techs/0964aa9fdc
https://dev.classmethod.jp/cloud/aws/aws-glue-tutorial/

公式サイト

https://aws.amazon.com/jp/glue/faqs/
トラブルシューティング
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/troubleshooting-glue.html

AWS Glue

その他

Pulumi ～ AWS Glue のデプロイ～
https://dk521123.hatenablog.com/entry/2022/03/02/122037
Terraform ～ AWS Glue ～
https://dk521123.hatenablog.com/entry/2023/04/08/220411
AWS Data Wrangler ～入門編～
https://dk521123.hatenablog.com/entry/2021/04/28/174316
AWS Lake Formation ～基礎知識編～
https://dk521123.hatenablog.com/entry/2020/10/13/094041
Amazon EMR ～ AWS Glueとの連携～
https://dk521123.hatenablog.com/entry/2020/11/12/113312
AWS Key Management Service (KMS)
https://dk521123.hatenablog.com/entry/2020/02/27/232553
Pentaho ～入門編～
https://dk521123.hatenablog.com/entry/2019/10/04/000000

プログラムの超個人的なメモ

Memo for Programming.

【AWS】AWS Glue ～入門編～

■ はじめに

目次

【１】AWS Glue

１）チュートリアルについて

【２】Lambda との違い

【３】使用上の注意

１）サポートバージョンに注意

２）ジョブタイプ「Spark」でサポート外のモジュールがある

３）IAM権限設定が必要

【４】全体像

１）全体の流れ

２）構成要素

【５】Glue のセキュリティ設定

参考文献

公式サイト

関連記事

AWS Glue

その他