【AWS】AWS Glue ~ トリガ / EventBridgeイベント ~

■ はじめに

https://dk521123.hatenablog.com/entry/2019/11/29/221207

の続き。

 AWS Glue の 開始トリガで、新しいタイプ「EventBridgeイベント」が
2021/07/15頃 にリリースされたらしいので、メモしておく。

https://aws.amazon.com/jp/about-aws/whats-new/2021/07/announcing-availability-event-driven-workflows-aws-glue-amazon-eventbridge/

なお、EventBridge については、以下の関連記事を参照のこと。

Amazon EventBridge
https://dk521123.hatenablog.com/entry/2021/06/08/213748

目次

【0】ドキュメント
【1】何ができるようになったのか?
【2】何が嬉しい?
【3】利用可能なリージョン
【4】AWS Glue - Event-based Trigger
【5】実装例
 1)構成例

【0】ドキュメント

* 以下の公式サイトのブログと共に読み進めていただければ。。。

# どうでもいい話だが、「About the Authors」欄で
# 日本人のエンジニアの方が関わっているっぽい

https://aws.amazon.com/jp/blogs/big-data/build-a-serverless-event-driven-workflow-with-aws-glue-and-amazon-eventbridge/

【1】何ができるようになったのか?

* Glue の開始トリガ「EventBridgeイベント」で起動できるようになった

https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2021/07/14/image-2-3.png

【2】何が嬉しい?

* イベント駆動でGlueワークフローを開始できる
 => Event-Driven Architecture で設計できる

S3上にファイルが格納されたことをきっかけにWorkflowを開始する
などの運用が可能になった

【3】利用可能なリージョン

* 全リージョンで使用可能

https://aws.amazon.com/jp/about-aws/whats-new/2021/07/announcing-availability-event-driven-workflows-aws-glue-amazon-eventbridge/

より抜粋
~~~~~~~
Event-driven workflows are available in every AWS Region where AWS Glue and Amazon EventBridge are available. 
~~~~~~~

【4】AWS Glue - Event-based Trigger

* 開始イベントで「EventBridge event」を選択する
* 以下を入力する

1)Number of events
2)Time delay in seconds (optional)

https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2021/07/14/image-2-3.png

1)Number of events

* イベント発生回数
 => 例えば、送られてくるデータファイルが複数あった場合、
  そのファイルが揃ってから開始するようなこともできる
 (結構、便利!)

2)Time delay in seconds (optional)

* イベント発生時からの遅延設定[秒] - 任意
 => 物凄い大容量ファイルの場合、遅延を設けたほうがいい?
 (これも、結構、便利!!)

【5】実装例

https://aws.amazon.com/jp/blogs/big-data/build-a-serverless-event-driven-workflow-with-aws-glue-and-amazon-eventbridge/

に、
実装例「S3上にファイルが格納されたことをきっかけにWorkflowを開始する」
が載っている。

1)構成例

[1] S3
 ↓ S3 Data Event
[2] AWS CloudTrail
 ↓ AWS API Call Event
[3] Amazon EventBridge
 ↓ AWS API Call Event
----------------------------- AWS Glue workflow
 ↓ 
[4] AWS Glue - Event-based Trigger
 ↓ 
・・・あとは、Glue Job を実行する流れ

https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2021/07/13/glue_event_driven_workflow.png

関連記事

AWS Glue ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ~ 基本編 /トリガ ~
https://dk521123.hatenablog.com/entry/2019/11/29/221207
Amazon EventBridge
https://dk521123.hatenablog.com/entry/2021/06/08/213748