■ はじめに

Amazon EMR について、徐々にメモっていく

【１】Amazon EMR (Elastic MapReduce)
【２】EMRのアーキテクチャ
　１）マスタノード
　２）コアノード
　３）タスクノード
　注意点
【３】分散処理基盤としてのEMR
　１）EMRFS (EMR File System)
【４】分散処理アプリケーション基盤としてのEMR
　１）サポートされているビッグデータフレームワーク
【５】メリット / デメリット
　１）メリット
　２）デメリット
【６】コスト

【１】Amazon EMR (Elastic MapReduce)

* AWSの分散処理フレームワーク
=> ビッグデータ用フレームワーク(Hadoop/Hive/HBase/Presto)を
　簡単に導入でき、大量データを分散処理してくれるAWSサービス

公式サイト

https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-what-is-emr.html
https://media.amazonwebservices.com/jp/wp/AWS_Amazon_EMR_Best_Practices.pdf
boto3 API
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/emr.html

【２】EMRのアーキテクチャ

* EMR は、以下の３種類のノードで構成されている
~~~~~~~~~~~~~~~
１）マスタノード
２）コアノード
３）タスクノード
~~~~~~~~~~~~~~~

１）マスタノード

* EMRの司令塔で、ジョブフロー全体管理
 => コアノード、タスクノードにジョブを振り分ける
* 1台のみ
 => フェールオーバー（failover）はできない
 => マスターノードに何らかのトラブルがあると、ジョブ全体が失敗する

２）コアノード

* データ保存領域であるHDFS(Hadoop Distributed File System)を持ち、
　データを読み込みつつデータ処理を行う
* 1台～

３）タスクノード

* データ処理を行う(データは持たない)
 => コアノードと比べて柔軟に増減可能
* 0台～

注意点

* コアノードなしでタスクノードのみで構成することは不可

【３】分散処理基盤としてのEMR

以下に分けられる
~~~~~~
１）リソース調整
２）EMRFS (EMR File System)
~~~~~~

１）リソース調整

* 分散処理に必要なEC2の調達・破棄
* 以下の2点が重要になる

[1] 伸縮自在性

* 処理するEC2を解析開始時に調達し、
　必要に応じて増減させる
* デフォルト設定だと、ジョブ完了後に
　自動的にリソースを解放される

[2] コスト

* 分析費用を小さくするための機能
 => EMR には、スポットインスタンスのオプションがあり
　　コストダウンを図れる

※ スポットインスタンス

*  入札価格より時価が上回った場合に利用が強制的に中断されるが
　そのため、通常のEC2オンデマンドより価格が大幅に安く使える
* 以下の関連記事を参照のこと

https://dk521123.hatenablog.com/entry/2017/07/26/115400

２）EMRFS (EMR File System)

* AWS S3 を HDFSのように扱える
* 詳細は以下の関連記事を参照のこと

Amazon EMR ～ EMRFS ～
https://dk521123.hatenablog.com/entry/2020/11/13/145545

【４】分散処理アプリケーション基盤としてのEMR

１）サポートされているビッグデータ フレームワーク

* Apache Spark
* Apache Hive
 ... 以下の関連記事を参照のこと

https://dk521123.hatenablog.com/entry/2019/11/25/235219

* Apache HBase
 ... データストア「BigTable」をベースにしたNoSQL
* Apache Flink
* Apache Hudi (Incubating)
* Apache Pig
* Presto（プレスト）
 ... オープンソースの分散型SQLクエリエンジン
 ... Athena のエンジン部分としても利用

Amazon Athena ～入門編～
https://dk521123.hatenablog.com/entry/2020/06/17/173717

* Apache Phoenix
 ... HBaseに保存されているデータに対してACIDトランザクションを利用できる
* Apache Impala
 ... SQL構文でインタラクティブにアドホックにクエリをかけられる
etc

バージョン

　EMRのバージョンによって、
Hadoop や Hive のバージョンが異なるので
使用するバージョンを確認しておいたほうがいい

https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-release-6x.html

【５】メリット / デメリット

１）メリット

環境構築 / 運用(version up etc)が不要

２）デメリット

コストが掛かる

料金
https://aws.amazon.com/jp/emr/pricing/

EC2 料金 + EMR 料金がかかる

【６】コスト

* 以下のサイトから自分の使う構成を選択することにより
　簡単に料金の見積もりができる

https://aws.amazon.com/jp/emr/pricing/

参考文献

https://www.atmarkit.co.jp/ait/articles/1701/01/news018_5.html
https://qiita.com/yasuzuki/items/f29d3a2db5c8b4217c9c
https://recipe.kc-cloud.jp/archives/10132
https://www.atmarkit.co.jp/ait/articles/1701/01/news018.html
https://www.atmarkit.co.jp/ait/articles/1701/01/news019.html
http://mgi.hatenablog.com/entry/2014/05/04/085148
https://japan.techrepublic.com/article/35074122.htm

プログラムの超個人的なメモ

Memo for Programming.

【AWS】Amazon EMR ～入門編～

■ はじめに

目次

【１】Amazon EMR (Elastic MapReduce)

公式サイト

【２】EMRのアーキテクチャ

１）マスタノード

２）コアノード

３）タスクノード

注意点

【３】分散処理基盤としてのEMR

１）リソース調整

２）EMRFS (EMR File System)

【４】分散処理アプリケーション基盤としてのEMR

１）サポートされているビッグデータ フレームワーク

【５】メリット / デメリット

１）メリット

２）デメリット

【６】コスト

参考文献

関連記事