【トラブル】【AWS】Amazon EMR の クローン 時の トラブル

■ はじめに

https://dk521123.hatenablog.com/entry/2020/08/05/144724

にEMRのトラブルを纏めていたが、
また違うトラブルが発生したので、メモしておく

トラブルってゆーかー、そういう設定してるから起こったことだが。

目次

【1】EMR起動後にエラー「Ebs root volume of custom AMI ami-xxxx exceeds」が発生
【2】EMRクローン後に「Terminated Steps completed」で終了してしまう

【1】EMR起動後にエラー「Ebs root volume of custom AMI ami-xxxx exceeds」が発生

EMR をクローンで立ち上げようとしたら、
以下「エラー内容」が表示され、立ち上がらなくなった。

1)エラー内容

Ebs root volume of custom AMI ami-xxxx exceeds custom ebs root volume size 10GB

2)原因

EBS Root Volumeを設定する箇所があって、以下のように設定されていた
~~~~
Root device EBS volume size : 10GB
~~~~

それなのにも関わらず、Master/CoreのEBS Storage sizeが10GBを超えていたため。

3)解決案

Cloneする際の
「Step 2: Hardware」の下部にある「EBS Root Volume」欄の
「Root device EBS volume size」を変更する
 => 変更する際は、Master/CoreのEBS Storage sizeを確認し、
  それを超えるように設定した。(例えば「50GB」など)

【2】EMRクローン後に「Terminated Steps completed」で終了してしまう

EMR立ち上げたくて、クローンで起動しようとした際に
「Would you like to include steps?」で「No」-「Clone」押下後に
立ち上げて、しらばらくしたら「Terminated」で起動できなかった

1)表示内容

Terminated
All steps completed

2)原因

Stepsを設定する箇所があって、以下のように設定されていたため。
~~~~
After last step completes: Cluster auto-terminates
~~~~

3)解決案

Cloneする際の
「Step 1: Software and Steps」の下部にある「Steps (optional)」欄の

~~~~
After last step completes: Cluster enters waiting state
~~~~

ついでに以下も設定しておく
~~~~
Concurrency: Run multiple steps at the same time to improve cluster utilization
~~~~

関連記事

Amazon EMR ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR に関するトラブル
https://dk521123.hatenablog.com/entry/2020/08/05/144724