【AWS】AWS Glue ~ Workflows / 入門編 ~

■ はじめに

https://dk521123.hatenablog.com/entry/2019/10/01/221926

の続き。
今回は、Workflows (ワークフロー)について、調べてみた。

■ Workflows (ワークフロー)

 Glueコンソール上で、トリガ、クローラ、ジョブのDAG(※)を
GUIで作成、実行、管理できる機能

※ DAG(Directed Acyclic Graph、有向非巡回グラフ)

有向  : ある頂点からある頂点の方向が決まっている
非巡回:同じ辺を通らない

https://ascii.jp/elem/000/001/938/1938955/

より抜粋
~~~~~~~~~~~~~~~~
データなどの塊(グラフ)を接続するときに、
一方通行になっていて輪(循環)が発生しない状態のグラフのこと
~~~~~~~~~~~~~~~~

注意点

2019/10/15現時点では、ワークフローのタグ付けをGUI上から入力できなさそう。

 ⇒ Boto3・AWS CLIで対応するしかなさそう。
   Boto3・AWS CLIについては以下の関連記事を参照のこと。

AWS Glue ~ Workflows / Boto3・AWS CLI
https://dk521123.hatenablog.com/entry/2019/10/14/000000

メモ

トリガー⇒ジョブorクローラ⇒トリガー…と
トリガーと挟んで実行していく

■ ジョブ間の値の受け渡し

以下の関連記事を参照

https://dk521123.hatenablog.com/entry/2019/10/15/221931

参考文献

https://dev.classmethod.jp/cloud/aws/20190621-aws-glue-workflow/
https://yomon.hatenablog.com/entry/2019/06/glueworkflow
https://qiita.com/pioho07/items/0cd0ae27b61f5914f78d
https://future-architect.github.io/articles/20180828/

関連記事

AWS Glue ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ~ Workflows / パラメータ渡し ~
https://dk521123.hatenablog.com/entry/2019/10/15/221931
AWS Glue ~ Boto3 / 入門編 ~
https://dk521123.hatenablog.com/entry/2019/10/14/000000
AWS Glue ~ Boto3 / クローラ編 ~
https://dk521123.hatenablog.com/entry/2021/04/16/135558
AWS Glue ~ Glue セキュリティ設定 / Boto3 ~
https://dk521123.hatenablog.com/entry/2020/04/08/171208
AWS Glue ~ Boto3 / Glue connection編 ~
https://dk521123.hatenablog.com/entry/2020/01/29/224525
AWS Glue ~ ログ ~
https://dk521123.hatenablog.com/entry/2019/10/09/000000