【AWS】AWS Glue ～ AWS Glue Studio ～

AWS

■ はじめに

　2020/09/24 現在、
AWS Glue コンソール上に「AWS Glue Studio New」って
でてたので、どんなサービスかを調べてみた。

因みに、検索したところ、情報源は、以下の英語サイトだけ。

https://aws.amazon.com/jp/about-aws/whats-new/2020/09/announcing-aws-glue-studio/
後日談（2020/09/25 09:15 現在） 

「AWS Glue Studio」を検索したら、早速記事されていた方がいた。

https://dev.classmethod.jp/articles/20200924-aws-glue-studio/

目次

【０】サービスの目的
【１】Create and manage jobs
【２】Monitor job runs - AWS Glue Studio Monitoring

【０】サービスの目的

 * AWS Glue を視覚的なインターフェイスで簡単に作成
 * Glue Jobのモニタリング

補足 

確かに「AWS Glue Studio」リンクを押すと、
「Getting started」ページに飛んで、
以下の２つが選択できる
~~~~~~~~~~~~
【１】Create and manage jobs（ジョブ作成と管理）
【２】Monitor job runs（実行ジョブのモニタリング）
~~~~~~~~~~~~

【１】Create and manage jobs

* Step by Step で、GUI(ノンプログラミング)で
　Glue Jobを自動生成してくれる

大まかな手順 

[1]「Create job」で以下を選び、「Create」ボタン押下
 + Blank graph ... 何もない状態から作成する
 + Source and target added to the graph ... データ元・先を選ぶ
　=> データ源泉として「S3」「RDS」「Kinesis」「Kafka」からそれぞれ選択

[2] 選択後、それぞれ Visual / Script / Job details / Run details タブ から
　それぞれジョブを設定し、「Save」ボタン押下

 + 「＋」アイコンから、要素（Job / データ源）を追加できる
　⇒ 個人的な感想だが、使いづらい
 + Jobの Node type により、どう処理するかを決める

Node type / Transform 

* ApplyMapping
* SelectField
* DropFields
* RenameField
* Spigot
* Join
* SplitFields
* SelectFromCollection
* Filter
* Custom Transform

【２】Monitor job runs - AWS Glue Studio Monitoring

* Glueの実行ジョブ単位の統計的なモニタリング機能
* 指定期間（デフォルト：７day）で以下をダッシュボード形式で表示してくれる

１） Job Runs Summary（実行ジョブまとめ）
２） Job Run Success Rate（実行ジョブ成功率）
３） Job Type Breakdown（ジョブタイプ）
４） Job Runs Timeline（実行ジョブタイムライン）
５） Estimated Job DPU Usage（ジョブDPU使用見積もり）

関連記事

AWS Glue ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/01/221926
AWS Glue のトラブル ～ Job編 ～
https://dk521123.hatenablog.com/entry/2019/10/25/232155
AWS Glue のトラブル ～ trigger/crawler編 ～
https://dk521123.hatenablog.com/entry/2020/05/07/144132
boto3 AWS Glue API のトラブル ～ trigger編 ～
https://dk521123.hatenablog.com/entry/2020/01/16/205331
boto3 AWS Glue API のトラブル ～ job/crawler編 ～
https://dk521123.hatenablog.com/entry/2020/02/05/223307