■ はじめに
https://dk521123.hatenablog.com/entry/2019/10/10/223018
の続き。 Workflows (ワークフロー)がうまく動いていないので ログを張って調査したいので、Glueのログ全般について 調べてみた
目次
【１】ログ出力先 １）Job / PySpark - Glue1.0 ２）Job / PySpark - Glue2.0 ３）Job / Python shell ４）クローラ ５）テスト接続 【２】カスタム AWS CloudWatch ロググループ 【３】Glueのログの暗号化について
【１】ログ出力先
CloudWatch Logs のデフォルトLog Group名は 以下の通り。
１）Job / PySpark - Glue1.0
標準出力
/aws-glue/jobs/output
エラー出力
/aws-glue/jobs/error
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-job-python.html
２）Job / PySpark - Glue2.0
AWS Glue ～ Glue Version 2.0 ～
Glue v2.0 が追加された。 Glue v2.0 の詳細は、以下の関連記事を参照のこと。
https://dk521123.hatenablog.com/entry/2020/08/19/130118
/aws-glue/jobs/logs-v2
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/monitor-continuous-logging-enable.html
３）Job / Python shell
標準出力
/aws-glue/python-jobs/output
エラー出力
/aws-glue/python-jobs/error
４）クローラ
/aws-glue/crawlers
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/troubleshooting-contact-support.html
５）テスト接続
/aws-glue/testconnection
【２】カスタム AWS CloudWatch ロググループ
ロググループの変更については、 カスタム AWS CloudWatch ロググループ名「--continuous-log-logGroup」 を指定できる
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/monitor-continuous-logging-enable.html
より抜粋 ～～～～～～ スタム AWS CloudWatch ロググループ名を指定できます。 指定しない場合、デフォルトのロググループ名は、/aws-glue/jobs/logs-v2/ になります。 '--continuous-log-logGroup': 'custom_log_group_name' ～～～～～～
【３】Glueのログの暗号化について
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/console-security-configurations.html
より、セキュリティ設定の「CloudWatch Logs 暗号化」を行う必要がある セキュリティ設定については、以下の関連記事でも触れている。
AWS Glue ～ Glue セキュリティ設定 / Boto3 ～
https://dk521123.hatenablog.com/entry/2020/04/08/171208
参考文献
以下のサイトが非常に役に立った
https://yomon.hatenablog.com/entry/2019/07/gluepythonshelllog
Continuous Logging 機能
https://dev.classmethod.jp/cloud/aws/20190615-aws-glue-continuous-logging/
関連記事
AWS Glue ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue ～ Workflows ～
https://dk521123.hatenablog.com/entry/2019/10/10/223018
AWS Glue ～ Glue Version 2.0 ～
https://dk521123.hatenablog.com/entry/2020/08/19/130118
AWS Glue ～ Glue セキュリティ設定 / Boto3 ～
https://dk521123.hatenablog.com/entry/2020/04/08/171208
