【AWS】AWS Glue ~ AWS Glue Studio ~

■ はじめに

 2020/09/24 現在、
AWS Glue コンソール上に「AWS Glue Studio New」って
でてたので、どんなサービスかを調べてみた。

因みに、検索したところ、情報源は、以下の英語サイトだけ。

https://aws.amazon.com/jp/about-aws/whats-new/2020/09/announcing-aws-glue-studio/
後日談(2020/09/25 09:15 現在)

「AWS Glue Studio」を検索したら、早速記事されていた方がいた。

https://dev.classmethod.jp/articles/20200924-aws-glue-studio/

目次

【0】サービスの目的
【1】Create and manage jobs
【2】Monitor job runs - AWS Glue Studio Monitoring

【0】サービスの目的

 * AWS Glue を視覚的なインターフェイスで簡単に作成
 * Glue Jobのモニタリング

補足

確かに「AWS Glue Studio」リンクを押すと、
「Getting started」ページに飛んで、
以下の2つが選択できる
~~~~~~~~~~~~
【1】Create and manage jobs(ジョブ作成と管理)
【2】Monitor job runs(実行ジョブのモニタリング)
~~~~~~~~~~~~

【1】Create and manage jobs

* Step by Step で、GUI(ノンプログラミング)で
 Glue Jobを自動生成してくれる

大まかな手順

[1]「Create job」で以下を選び、「Create」ボタン押下
 + Blank graph ... 何もない状態から作成する
 + Source and target added to the graph ... データ元・先を選ぶ
 => データ源泉として「S3」「RDS」「Kinesis」「Kafka」からそれぞれ選択

[2] 選択後、それぞれ Visual / Script / Job details / Run details タブ から
 それぞれジョブを設定し、「Save」ボタン押下

 + 「+」アイコンから、要素(Job / データ源)を追加できる
 ⇒ 個人的な感想だが、使いづらい
 + Jobの Node type により、どう処理するかを決める

Node type / Transform

* ApplyMapping
* SelectField
* DropFields
* RenameField
* Spigot
* Join
* SplitFields
* SelectFromCollection
* Filter
* Custom Transform

【2】Monitor job runs - AWS Glue Studio Monitoring

* Glueの実行ジョブ単位の統計的なモニタリング機能
* 指定期間(デフォルト:7day)で以下をダッシュボード形式で表示してくれる

1) Job Runs Summary(実行ジョブまとめ)
2) Job Run Success Rate(実行ジョブ成功率)
3) Job Type Breakdown(ジョブタイプ)
4) Job Runs Timeline(実行ジョブタイムライン)
5) Estimated Job DPU Usage(ジョブDPU使用見積もり)

関連記事

AWS Glue ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue のトラブル ~ Job編 ~
https://dk521123.hatenablog.com/entry/2019/10/25/232155
AWS Glue のトラブル ~ trigger/crawler編 ~
https://dk521123.hatenablog.com/entry/2020/05/07/144132
boto3 AWS Glue API のトラブル ~ trigger編 ~
https://dk521123.hatenablog.com/entry/2020/01/16/205331
boto3 AWS Glue API のトラブル ~ job/crawler編 ~
https://dk521123.hatenablog.com/entry/2020/02/05/223307