【AWS】Amazon EMR ～ AWS Glueとの連携 ～

AWS

■ はじめに

https://dk521123.hatenablog.com/entry/2020/02/20/230519
https://dk521123.hatenablog.com/entry/2020/05/27/175610
https://dk521123.hatenablog.com/entry/2020/06/24/173334

の続き。

今回は、EMRからAWS Glueを利用する際に必要なことを纏める

■ EMRからAWS Glueカタログを参照するには

EMRに以下の設定を行う必要がある

設定例抜粋 ("ReleaseLabel"="emr-5.29.0") 

"Configurations" [
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false"
    }
  }
],

公式サイト 

Specifying AWS Glue Data Catalog as the Metastore
(AWS Glueデータカタログをメタストアとして指定するには)

https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

関連記事

Amazon EMR ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ～ 基本編 ～
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ～ boto3 編 ～
https://dk521123.hatenablog.com/entry/2020/06/24/173334
Amazon EMR ～ EMRFS ～
https://dk521123.hatenablog.com/entry/2020/11/13/145545
Amazon EMR に関するトラブルシューティング
https://dk521123.hatenablog.com/entry/2020/08/05/144724
AWS Glue ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/10/01/221926