■ はじめに

AWS Glue の Job(Python) から、Redshiftに接続することをやったのだが
色々と考えることがあったので、まとめておく。

また、Redshiftは、PostgreSQLから派生したものなので、
PostgreSQLでも使える。

今回、やりたいこと

AWS Glue の Job （後述するが今回は「Python shell」）内で、
Redshiftに接続し、クエリー（とりあえずSELECT文）を実行する

結論

* 後述の方針で、一応、上記「今回、やりたいこと」は達成できた
* 今回は、サンプルは載せていないが、各章に張り付けてある関連記事にある
　サンプルコードを組み合わせて、修正すれば実装できる

Jobの種類によって、接続するライブラリが異なってくる

より抜粋
～～～～～
１）Spark
２）Python shell
３）Spark Streaming
～～～～～

今回は、簡易的にものでよかったので、
「２）Python shell」をチョイスした

結論から言うと、「２）Python shell」の場合、
以下の対応しているライブラリ一覧にある「PyGreSQL」を使う

　=> PyGreSQL のサンプルは、以下の関連記事を参照のこと

補足１：ちょい、はまってしまった話

* 「Python Redshift」で調べたら、大体は「psycopg2」がでてきたので
　以下のサイトからWheelファイルをダウンロードしてきて、試したのだが例外でうまくいかなかった

補足２：「１）Spark」の場合

* 以下のサイトのようにPySparkを使えば実現できそう
*「３）Spark Streaming」は調べてない。。。

* （色々な方があると思うが、今回は）Glue Connection に保存しておき、
　boto3 の get_connection() を使って、接続情報を取得する
　=> get_connection() のサンプルは、以下の関連記事を参照のこと

* boto3 の get_object() を使えば、ファイルの内容を取得できるので、
　それを PyGreSQL の API で実行する
　=> get_object() のサンプルは、以下の関連記事を参照のこと

* 外部ファイルからPyGreSQLを使って、
　クエリーを実行するサンプルについては、以下の関連記事を参照のこと