■ はじめに

https://dk521123.hatenablog.com/entry/2020/02/20/230519
https://dk521123.hatenablog.com/entry/2020/05/27/175610
https://dk521123.hatenablog.com/entry/2020/06/24/173334
https://dk521123.hatenablog.com/entry/2020/11/12/113312

の続き。

　今回は、emrfs syncコマンド を学んだので、
その周辺の知識を少しづつだが纏めていく。

【１】EMRFS

* EMRFS (EMR File System; EMRファイルシステム)

* AWS S3 を HDFS（分散されたデータをメタ情報で管理）
　のように扱える
 + Hadoop -> HDFS (Hadoop Distributed File System)
 + EMR -> EMRFS (EMR File System)

* HDFS（Hadoop Distributed File System）については、
　以下の関連記事を参照のこと

Apache Hadoop ～基本編 / HDFS ～
https://dk521123.hatenablog.com/entry/2022/05/01/000000

【２】emrfs コマンド (EMRFS CLI)

リファレンス
https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emrfs-cli-reference.html
その他
https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emrfs-files-tracked.html

１）emrfs sync

* メタデータをリセットし、現在の S3 に存在するものを反映し同期する

コマンド例

emrfs sync s3://your-s3-backet/samples/xxxxx

補足：emrfs syncコマンドの用途

エラー「ConsistencyException（一貫性例外）」が発生した時に、
emrfs syncコマンドを実行して対応した。

なお、エラー内容などの詳細は、以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2020/05/28/175428

２）emrfs describe-metadata

メタデータテーブルの詳細を表示

コマンド例

# デフォルトのメタデータテーブルの詳細を表示
emrfs describe-metadata

３）emrfs delete-metadata

* メタデータテーブルを削除

コマンド例

emrfs delete-metadata -m sample_table

４）emrfs create-metadata

* メタデータテーブルを作成

コマンド例

emrfs create-metadata -m sample_table

５）emrfs list-metadata-stores

* メタデータテーブルを表示

コマンド例

emrfs list-metadata-stores

６）emrfs diff

* メタデータの差分を比較する

コマンド例

# デフォルトのメタデータテーブルとAmazon S3 バケット上にあるメタデータを比較
emrfs diff s3://your-s3-bucket/sample_db/table_name

BOTH | MANIFEST ONLY | S3 ONLY <= 実際は「青|赤|緑」で色分けされる
DIR elasticmapreduce/samples/cloudfront
DIR elasticmapreduce/samples/cloudfront/code/
・・・

７）emrfs import

* メタデータをインポートする

コマンド例

# 指定したAmazon S3 バケット内のすべてのオブジェクトを
# 整合性のあるビューの追跡メタデータとともにインポートする
emrfs import s3://your-s3-bucket/sample_db/table_name

参考文献

https://dev.classmethod.jp/articles/cmstudy-amazon-emr/
https://agency-star.co.jp/column/hadoop

プログラムの超個人的なメモ

Memo for Programming.

【AWS】Amazon EMR ～ EMRFS ～

■ はじめに

目次

【１】EMRFS

【２】emrfs コマンド (EMRFS CLI)

１）emrfs sync

２）emrfs describe-metadata

３）emrfs delete-metadata

４）emrfs create-metadata

５）emrfs list-metadata-stores

６）emrfs diff

７）emrfs import

参考文献

関連記事