■ はじめに
https://dk521123.hatenablog.com/entry/2019/10/01/221926
の続き。 今回は、Workflows (ワークフロー)について、調べてみた。
■ Workflows (ワークフロー)
Glueコンソール上で、トリガ、クローラ、ジョブのDAG（※）を GUIで作成、実行、管理できる機能
※ DAG(Directed Acyclic Graph、有向非巡回グラフ)
有向 : ある頂点からある頂点の方向が決まっている 非巡回：同じ辺を通らない
https://ascii.jp/elem/000/001/938/1938955/
より抜粋 ~~~~~~~~~~~~~~~~ データなどの塊（グラフ）を接続するときに、 一方通行になっていて輪（循環）が発生しない状態のグラフのこと ~~~~~~~~~~~~~~~~
注意点
2019/10/15現時点では、ワークフローのタグ付けをGUI上から入力できなさそう。 ⇒ Boto3・AWS CLIで対応するしかなさそう。 Boto3・AWS CLIについては以下の関連記事を参照のこと。
AWS Glue ～ Workflows / Boto3・AWS CLI ～
https://dk521123.hatenablog.com/entry/2019/10/14/000000
メモ
トリガー⇒ジョブorクローラ⇒トリガー…と トリガーと挟んで実行していく
■ ジョブ間の値の受け渡し
以下の関連記事を参照
https://dk521123.hatenablog.com/entry/2019/10/15/221931
参考文献
https://dev.classmethod.jp/cloud/aws/20190621-aws-glue-workflow/
https://yomon.hatenablog.com/entry/2019/06/glueworkflow
https://qiita.com/pioho07/items/0cd0ae27b61f5914f78d
https://future-architect.github.io/articles/20180828/
関連記事
AWS Glue ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ～ Workflows / パラメータ渡し ～
https://dk521123.hatenablog.com/entry/2019/10/15/221931
AWS Glue ～ Boto3 / 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/14/000000
AWS Glue ～ Boto3 / クローラ編 ～
https://dk521123.hatenablog.com/entry/2021/04/16/135558
AWS Glue ～ Glue セキュリティ設定 / Boto3 ～
https://dk521123.hatenablog.com/entry/2020/04/08/171208
AWS Glue ～ Boto3 / Glue connection編 ～
https://dk521123.hatenablog.com/entry/2020/01/29/224525
AWS Glue ～ ログ ～
https://dk521123.hatenablog.com/entry/2019/10/09/000000
