■ はじめに

https://dk521123.hatenablog.com/entry/2020/02/20/230519

の続き。

Amazon EMR (Elastic MapReduce) を動かしてみたり、
基本的なことを学ぶ。

【１】EMRのクラスタを起動する

https://dev.classmethod.jp/articles/sample-emr-spark/

が分かりやすい。以下、一例。

１）EC2のキーペアを用意する
２）EMRのクラスタを作成する
　⇒ 起動したクラスタに接続するには、
　　以下「【２】EMRでHIVEを実行する」を参照。

【２】EMRでHIVEを実行する

以下、一例。

１）EC2に接続する
２）SSHでEMRに接続する
３）HIVEコマンドを実行する

１）EC2に接続する

SSHでも Session Manager でもいいので、
EMRに接続可能なEC2にログインする

２）SSHでEMRに接続する

ssh hadoop@EMRDNS

※「EMRDNS」は、EMRの「マスターパブリックDNS」で表示されているものを指定

ファイル転送が必要な場合

# scp -i [EMR接続用Publicキー] [EMR User]@[Host Name]:
scp hello_world.hql -i public_key_for_emr.pem hadoop@ip-XXX-XXX-XXX-XXXlus-west-1.compute.internal:

SSH接続

# ssh -i [EMR接続用Publicキー] [EMR User]@[Host Name]
ssh -i public_key_for_emr.pem hadoop@ip-XXX-XXX-XXX-XXXlus-west-1.compute.internal

SSH / SCPコマンドについては、以下の関連記事を参照のこと。

ssh コマンド / scp コマンド
https://dk521123.hatenablog.com/entry/2017/12/09/231200

３）HIVEコマンドを実行する

ファイルを実行

hive -f hello_world.hql

hiveインタラクティブシェルから実行
https://www.atmarkit.co.jp/ait/articles/1701/01/news022.html

hive
hive> SHOW DATABASE;
hive> USE sample_db;
hive> SHOW TABLES;
hive> exit;

補足：hiveについて

hive に関する詳細は、以下の関連記事などを参照のこと。

https://dk521123.hatenablog.com/entry/2020/02/25/231235
https://dk521123.hatenablog.com/entry/2020/06/02/183823

【３】EMRのログ

以下の公式サイトのページを参照。

https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-manage-view-web-log-files.html
https://aws.amazon.com/jp/premiumsupport/knowledge-center/logs-hive-queries-amazon-emr/

【４】EMRの全体構成

EMRは起動時にEC2インスタンスを起動するが、
以下の3つのグループのいずれかに属する

１）EMRマスターノード
２）EMRコアノード
３）EMRタスクノード

１）EMRマスターノード

* ジョブフロー全体の構成管理などを行う
* ジョブフローの中で必ず1台のみ起動する

２）EMRコアノード

* DataNode（HDFS）を持っており、実際にデータを読み込みつつデータ処理を行う
* ひとつのジョブフローに対して複数存在可能

３）EMRタスクノード

* データは持たないがデータ処理のためにリソース提供することが可能
* 0..* で存在（ない、単数、複数）

【５】EMRを起動してからの流れ

EMRを起動してからの流れは以下の通り。

１）ジョブフロー（※A）が起動
２）そのジョブフローは...
　２－１）ユーザからデータ処理の指示を受け取る
　２－１）ステップ（※B）を起動して作業指示を出す
　２－３）進捗状況をステータス（※C）として報告

https://www.atmarkit.co.jp/ait/articles/1701/01/news018_5.html
※A：ジョブフローとは？

* 一連の処理

※B：ステップとは？

ジョブフローの中で実行されるそれぞれの処理
 => ひとつのHadoopジョブ

※C：ステータスについて

STARTING：EC2インスタンスの起動やHadoopクラスタの構築
BOOTSTRAPPING：Hadoopクラスタの環境構成のカスタマイズなどを行う
RUNNING：ステップ処理が実行されている
WAITING：ジョブフローが作業指示を待っている
SHUTTING_DOWN：ジョブフローがHadoopクラスタを終了している
TERMINATED：ジョブフローが完了している

プログラムの超個人的なメモ

Memo for Programming.

【AWS】Amazon EMR ～基本編～

■ はじめに

目次

【１】EMRのクラスタを起動する

【２】EMRでHIVEを実行する

１）EC2に接続する

２）SSHでEMRに接続する

３）HIVEコマンドを実行する

【３】EMRのログ

【４】EMRの全体構成

【５】EMRを起動してからの流れ

関連記事