■ はじめに

https://dk521123.hatenablog.com/entry/2019/10/01/221926

の続き。
今回は、クローラ（Crawler）について、焦点を当てる

【１】クローラ（Crawler）

* S3においてあるファイルの内容やフォルダ構成から
  自動的にテーブルスキーマを解析し、データカタログに保存

クロール可能なデータストア

 S3、DynamoDB、RDS、Redshift等

結局、何が嬉しい？

* クローリングして、自動的に
　データカタログを作成(パーティション作成含む)することにより、
　Amazon Athena や EMR などからデータを取得することができる

Amazon Athena ～入門編～
https://dk521123.hatenablog.com/entry/2020/06/17/173717
Amazon EMR ～入門編～
https://dk521123.hatenablog.com/entry/2020/02/20/230519

公式サイト

サポートしているファイル形式
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/console-tables.html

* JSON
* CSV
* Parquet
* Avro
* XML

Parquet については、以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2020/06/03/000000

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/add-crawler.html

より一部抜粋

クローラを実行するとどうなるか

クローラを実行すると、
クローラは以下のアクションを使用してデータストアを調査します。

raw データの形式、スキーマ、および関連プロパティを
確認するためにデータを分類する

 – カスタム分類子を作成して分類の結果を設定できます。
　データをテーブルまたはパーティションにグループ化する

 – データはクローラのヒューリスティックに基づいてグループ化されます。
　メタデータを Data Catalog に書き込む

 – クローラでテーブルやパーティションを追加、更新、削除する方法を設定できます。

クローラは、どのようにパーティションを作成するタイミングを判断していますか?

テーブルの名前は Amazon S3 プレフィックスまたはフォルダ名に基づいています。

s3://bucket01/folder1/table1/partition1/file.txt
s3://bucket01/folder1/table1/partition2/file.txt
s3://bucket01/folder1/table1/partition3/file.txt
s3://bucket01/folder1/table2/partition4/file.txt
s3://bucket01/folder1/table2/partition5/file.txt
～～～～～～～～

【２】用語整理

１）データストア（データソース / データターゲット）

* データを永続的に保存するリポジトリ(ex S3, RDS)
* データストアは、以下の２種類。
 [1] データソース（Data Source = データ元）
　⇒ 入力としてとして使用されるデータストア
 [2] データターゲット（Data Target = データ先）
　⇒ 書込み先のデータストア

２）データカタログ（Data Catalog）

* データセットの構造上および運用上の
　メタデータ（テーブルの定義や物理的な場所）を保存するもの

※ メタデータの詳細は、以下の関連記事を参照のこと

Hive / HiveQL ～基礎知識編～
https://dk521123.hatenablog.com/entry/2019/11/25/235219

* 公式サイトは以下。

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/populate-data-catalog.html

【３】Athena との連携

* 以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2020/07/15/162459

【４】クローラ関連のBoto3 API

* 以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2019/10/14/000000

■ 関連記事

プログラムの超個人的なメモ

Memo for Programming.

【AWS】AWS Glue ～基本編 / クローラ～

■ はじめに

目次

【１】クローラ（Crawler）

結局、何が嬉しい？

公式サイト

【２】用語整理

１）データストア（データソース / データターゲット）

２）データカタログ（Data Catalog）

【３】Athena との連携

【４】クローラ関連のBoto3 API

■ 関連記事