■ はじめに
create_Job などの AWS Glue に関わる boto3 API のトラブルについて、 少しづつだが記録しておく 今回は、boto3 AWS Glue API の scheduled trigger のトラブルを纏める。 それ以外のboto3 AWS Glue API の trigger全般 のトラブルについては、 以下の関連記事を参照のこと。
boto3 AWS Glue API のトラブル ~ trigger全般 編 ~
https://dk521123.hatenablog.com/entry/2020/10/23/110821
目次
【1】create_trigger で SCHEDULEDトリガー を指定した際に「The schedule cron is invalid」が発生する 【2】create_trigger で SCHEDULED / CONDITIONAL トリガー を作成した後にイベントを拾わない それ以外のトラブルは、以下の関連記事を参照。
boto3 AWS Glue API のトラブル ~ job/crawler編 ~
https://dk521123.hatenablog.com/entry/2020/02/05/223307
【1】create_trigger で SCHEDULEDトリガー を指定した際に「The schedule cron is invalid」が発生する
create_trigger で 曜日を指定した際(今回の場合、日・水・金)に、 以下の入力ファイルを指定したら、以下のエラー内容が表示された
入力ファイル
Name: 'sample-trigger' WorkflowName: 'sample-workflow' Type: 'SCHEDULED' Schedule: 'cron(30 00 * * SUN,WED,FRI *)' StartOnCreation: True Actions: - JobName: 'sample-job' Arguments: --key1: 'value1' Description: 'This is a sample trigger'
エラー内容
The schedule cron(30 00 * * SUN,WED,FRI *) is invalid
原因
クローンの表記指定に誤りがあった 今回の場合、曜日指定した際には、 左から3番目の年欄は「?」を指定しなければならなかった。
解決案
【誤】cron(30 00 * * SUN,WED,FRI *) 【正】cron(30 00 ? * SUN,WED,FRI *)
【2】create_trigger で SCHEDULED / CONDITIONAL トリガー を作成した後にイベントを拾わない
create_trigger で SCHEDULED / CONDITIONAL トリガー を 作成した後に、ワークフローを開始しても適切にトリガーが イベントを拾わなかった
原因
* 以下の公式サイトでも記載がある通り、 トリガーには、状態(State)があるが、 上記の場合、状態は「CREATED」になっていた => イベントを拾うには、「ACTIVATED」でなくてはならない
+ CREATING + CREATED + ACTIVATING + ACTIVATED + DEACTIVATING + DEACTIVATED + DELETING + UPDATING
解決策
* StartOnCreation を True に設定する => 作成時に SCHEDULED および CONDITIONAL トリガーを ACTIVATED するには、True に設定する (ON_DEMAND トリガーは未サポート) => サンプルコードは、以下の関連記事を参照。
https://dk521123.hatenablog.com/entry/2019/10/14/000000
参考文献
関連記事
boto3 AWS Glue API のトラブル その2
https://dk521123.hatenablog.com/entry/2020/02/05/223307
AWS Glue ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ~ Boto3 / 入門編 ~
https://dk521123.hatenablog.com/entry/2019/10/14/000000
AWS Glue ~ Boto3 / 基本編 ~
https://dk521123.hatenablog.com/entry/2021/04/17/001930
boto3 AWS Glue API のトラブル ~ trigger全般 編 ~
https://dk521123.hatenablog.com/entry/2020/10/23/110821
boto3 AWS Glue API のトラブル ~ job/crawler編 ~
https://dk521123.hatenablog.com/entry/2020/02/05/223307
AWS Glue のトラブル ~ job編 - [1] ~
https://dk521123.hatenablog.com/entry/2019/10/25/232155
AWS Glue のトラブル ~ job編 - [2] ~
https://dk521123.hatenablog.com/entry/2020/10/12/152659
AWS Glue のトラブル ~ job編 - [3] ~
https://dk521123.hatenablog.com/entry/2021/02/16/145848
AWS Glue のトラブル ~ crawler編 ~
https://dk521123.hatenablog.com/entry/2020/05/07/144132