■ はじめに

https://dk521123.hatenablog.com/entry/2021/05/28/142153

のAWS Management Console画面において、
パーティションを個別で削除しようと思ったが、
画面からは削除できなかったため、
代わりに、Boto3のAPIを使って、削除した。
（ちなみに、パーティション設定の閲覧は可能）

　そこで今回は、
Boto3 APIでのパーティション削除などの操作について、
メモしておく。
（今後もテストなどで使用しそうだし）

なお、テーブル操作については、以下の関連記事を参照のこと。

AWS Glue ～ Boto3 / DB・テーブル操作編～
https://dk521123.hatenablog.com/entry/2021/06/11/164015

【０】Boto3 API仕様

* 基本、以下を探れば、使用したいAPIは見つかるはず。

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#client

【１】パーティション削除

* delete_partition() を使えばいい。
* 事前に削除対象のパーティションの存在チェックをしたい場合
　「【２】パーティション取得」のAPIと組み合わせればいい

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.delete_partition
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-api-catalog-partitions.html#aws-glue-api-catalog-partitions-DeletePartition

response = client.delete_partition(
    CatalogId='string',
    DatabaseName='string',
    TableName='string',
    PartitionValues=[
        'string',
    ]
)

サンプル

#  ここが理解できれば、後は惰性でできると思う
import boto3
try:
  from botocore.exceptions import BotoCoreError, ClientError
except ImportError:
  pass

# 削除対象の情報
target_db = 'sample_db'
target_table = 'person'
target_partition_value = '2021-06-01'

try:
  glue_client = boto3.client('glue', region_name='us-west-2')

  response = glue_client.delete_partition(
      DatabaseName=target_db,
      TableName=target_table,
      PartitionValues=[target_partition_value]
  )
  print(response)
except(BotoCoreError, ClientError) as ex:
  if ex.response['Error']['Code'] == 'EntityNotFoundException':
    print('The partition has been already deleted...')
  else:
    print('Error ' + str(ex))

print("Done")

補足：batch_delete_partition() について

* 複数パーティションを一気に削除したい場合に使用する

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.batch_delete_partition

response = client.batch_delete_partition(
    CatalogId='string',
    DatabaseName='string',
    TableName='string',
    PartitionsToDelete=[
        {
            # ★違いは、ここが複数値を渡せる点
            'Values': [
                'string',
            ]
        },
    ]
)

【２】パーティション取得

* get_partition() / batch_get_partition() / get_partitions() を使う

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.get_partition
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.batch_get_partition
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.get_partitions

【３】パーティション追加

* create_partition() / batch_create_partition() を使う

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.create_partition
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.batch_create_partition

【４】パーティション更新

* update_partition() / batch_update_partition() を使う

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.update_partition
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.batch_update_partition

プログラムの超個人的なメモ

Memo for Programming.

【AWS】AWS Glue ～ Boto3 / パーティション操作編～

■ はじめに

目次

【０】Boto3 API仕様

【１】パーティション削除

サンプル

補足：batch_delete_partition() について

【２】パーティション取得

【３】パーティション追加

【４】パーティション更新

関連記事