【トラブル】【AWS】boto3 AWS Glue API のトラブル ～ scheduled trigger編 ～

トラブル AWS

■ はじめに

create_Job などの AWS Glue に関わる boto3 API のトラブルについて、
少しづつだが記録しておく

今回は、boto3 AWS Glue API の scheduled trigger のトラブルを纏める。

それ以外のboto3 AWS Glue API の trigger全般 のトラブルについては、
以下の関連記事を参照のこと。

boto3 AWS Glue API のトラブル ～ trigger全般 編 ～
https://dk521123.hatenablog.com/entry/2020/10/23/110821

目次

【１】create_trigger で SCHEDULEDトリガー を指定した際に「The schedule cron is invalid」が発生する
【２】create_trigger で SCHEDULED / CONDITIONAL トリガー を作成した後にイベントを拾わない

それ以外のトラブルは、以下の関連記事を参照。

boto3 AWS Glue API のトラブル ～ job/crawler編 ～
https://dk521123.hatenablog.com/entry/2020/02/05/223307

【１】create_trigger で SCHEDULEDトリガー を指定した際に「The schedule cron is invalid」が発生する

create_trigger で 
曜日を指定した際（今回の場合、日・水・金）に、
以下の入力ファイルを指定したら、以下のエラー内容が表示された

入力ファイル 

Name: 'sample-trigger'
WorkflowName: 'sample-workflow'
Type: 'SCHEDULED'
Schedule: 'cron(30 00 * * SUN,WED,FRI *)'
StartOnCreation: True
Actions:
   - JobName: 'sample-job'
     Arguments:
         --key1: 'value1'
Description: 'This is a sample trigger'

エラー内容

The schedule cron(30 00 * * SUN,WED,FRI *) is invalid

原因

クローンの表記指定に誤りがあった

今回の場合、曜日指定した際には、
左から3番目の年欄は「?」を指定しなければならなかった。

解決案

【誤】cron(30 00 * * SUN,WED,FRI *)
【正】cron(30 00 ? * SUN,WED,FRI *)

【２】create_trigger で SCHEDULED / CONDITIONAL トリガー を作成した後にイベントを拾わない

  create_trigger  で SCHEDULED / CONDITIONAL トリガー を
  作成した後に、ワークフローを開始しても適切にトリガーが
  イベントを拾わなかった

原因

* 以下の公式サイトでも記載がある通り、
  トリガーには、状態（State）があるが、
   上記の場合、状態は「CREATED」になっていた
 => イベントを拾うには、「ACTIVATED」でなくてはならない

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-jobs-trigger.html#aws-glue-api-jobs-trigger-Trigger

 + CREATING
 + CREATED
 + ACTIVATING
 + ACTIVATED
 + DEACTIVATING
 + DEACTIVATED
 + DELETING
 + UPDATING

解決策

* StartOnCreation を True に設定する
 => 作成時に SCHEDULED および CONDITIONAL トリガーを
      ACTIVATED するには、True に設定する
       (ON_DEMAND トリガーは未サポート)

 => サンプルコードは、以下の関連記事を参照。

https://dk521123.hatenablog.com/entry/2019/10/14/000000

参考文献

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-jobs-trigger.html#aws-glue-api-jobs-trigger-CreateTrigger

関連記事

boto3 AWS Glue API のトラブル その２
https://dk521123.hatenablog.com/entry/2020/02/05/223307
AWS Glue ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ～ Boto3 / 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/14/000000
AWS Glue ～ Boto3 / 基本編 ～
https://dk521123.hatenablog.com/entry/2021/04/17/001930
boto3 AWS Glue API のトラブル ～ trigger全般 編 ～
https://dk521123.hatenablog.com/entry/2020/10/23/110821
boto3 AWS Glue API のトラブル ～ job/crawler編 ～
https://dk521123.hatenablog.com/entry/2020/02/05/223307
AWS Glue のトラブル ～ job編 - [1] ～
https://dk521123.hatenablog.com/entry/2019/10/25/232155
AWS Glue のトラブル ～ job編 - [2] ～
https://dk521123.hatenablog.com/entry/2020/10/12/152659
AWS Glue のトラブル ～ job編 - [3] ～
https://dk521123.hatenablog.com/entry/2021/02/16/145848
AWS Glue のトラブル ～ crawler編 ～
https://dk521123.hatenablog.com/entry/2020/05/07/144132