【AWS】Amazon EMR ~ EMRFS ~

■ はじめに

https://dk521123.hatenablog.com/entry/2020/02/20/230519
https://dk521123.hatenablog.com/entry/2020/05/27/175610
https://dk521123.hatenablog.com/entry/2020/06/24/173334
https://dk521123.hatenablog.com/entry/2020/11/12/113312

の続き。

 今回は、emrfs syncコマンド を学んだので、
その周辺の知識を少しづつだが纏めていく。

目次

【1】EMRFS
【2】emrfs コマンド (EMRFS CLI)
 1)emrfs sync 
 2)emrfs describe-metadata
 3)emrfs delete-metadata
 4)emrfs create-metadata
 5)emrfs list-metadata-stores

【1】EMRFS

* EMRFS (EMR File System; EMRファイルシステム)
* AWS S3 を HDFSのように扱える

【2】emrfs コマンド (EMRFS CLI)

1)emrfs sync 
2)emrfs describe-metadata
3)emrfs delete-metadata
4)emrfs create-metadata
5)emrfs list-metadata-stores

公式サイト

リファレンス
https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emrfs-cli-reference.html
その他
https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emrfs-files-tracked.html

1)emrfs sync

* メタデータをリセットし、現在の S3 に存在するものを反映し同期する

emrfs sync s3://your-s3-backet/samples/xxxxx

補足:emrfs syncコマンドの用途

エラー「ConsistencyException(一貫性例外)」が発生した時に、
emrfs syncコマンドを実行して対応した。

なお、エラー内容などの詳細は、以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2020/05/28/175428

2)emrfs describe-metadata

メタデータテーブルの詳細を表示

emrfs describe-metadata

3)emrfs delete-metadata

* メタデータテーブルを削除

emrfs delete-metadata -m sample_table

4)emrfs create-metadata

* メタデータテーブルを作成

emrfs create-metadata -m sample_table

5)emrfs list-metadata-stores

* メタデータテーブルを表示

emrfs list-metadata-stores

参考文献

https://dev.classmethod.jp/articles/cmstudy-amazon-emr/
https://agency-star.co.jp/column/hadoop

関連記事

Amazon EMR ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ~ boto3 編 ~
https://dk521123.hatenablog.com/entry/2020/06/24/173334
Amazon EMR ~ AWS Glueとの連携 ~
https://dk521123.hatenablog.com/entry/2020/11/12/113312
Amazon EMR に関するトラブルシューティング
https://dk521123.hatenablog.com/entry/2020/08/05/144724
Hive に関するトラブルシューティング
https://dk521123.hatenablog.com/entry/2020/05/28/175428