2021-01-01から1年間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/05/105550 で、json化するのに普段は、json.loads()を使っていたのだが astモジュールってのがあるのは知らなかった。 目次 【１】astモジュール 【２】literal_eval() １）json.loads() との違い…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、AWS 上で、 Apache Airflow（NWAA：Amazon Managed Workflow for Apach Airflow）を 動かした際に、ちらほら抜けている部分が多かったので 基本的なTip集をメモしておく。 目次 【…
■ はじめに MWAA（Amazon Managed Workflow for Apache Airflow） に関して、触れるのでメモ 目次 【１】MWAA（Amazon Managed Workflow for Apache Airflow） １）メリット ２）デメリット ３）サポートバージョン 【２】技術メモ １）DAG の作成 ２）DAG …
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 https://dk521123.hatenablog.com/entry/2021/07/28/234319 で、Airflowを予習していたのだが、すっかり忘れてしまった。 と…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/13/120956 にあるように、CSVの値を連想配列に詰めて、 マップを作成しようとしたけど、失敗したので、 その解決策について、記しておく。 目次 【１】トラブル 【２】原因 【３】解決案 解決案１…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/18/232556 で、Glue3.0 を扱ったが、その中で、 Apache Arrow (v2.0)を使っているようなので、 どんなものか調べてみた。 目次 【１】Apache Arrow １）公式サイト ２）特徴 ３）サポート言語 【…
■ はじめに https://dk521123.hatenablog.com/entry/2020/08/19/130118 で、AWS Glue2.0 を扱ったが、 2021/08/19に Glue3.0がリリースされたらしいので、 調べてみた。 まずは、ざっくり知りたいなら、以下の公式サイト参照のこと。 https://aws.amazon.com…
■ はじめに Hive と Redshift で カウントなどの集計情報するのに 全く関係ないテーブルを結合したので、 そのことについて、メモっておく。 （もっといい方法があれば、随時、更新していく） 目次 【１】結合方法 方法１：JOINを使った結合 【２】サンプル …
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/23/223401 で触れた「set -- xxxx」について よく分からなかったので調べてみた。 【０】set コマンド 【１】シェルの設定を確認、変更する １）エラーがあった場合、そこで打ち止める 【２】現在…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/11/000000 https://dk521123.hatenablog.com/entry/2021/09/12/000000 https://dk521123.hatenablog.com/entry/2021/09/23/223401 で、パイプラインに関して、少し触れたが、 今回は、掘り下げて…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/23/223401 で触れた「shopt -s lastpipe」について よく分からなかったので調べてみた。 目次 【１】shoptコマンド 【２】構文 【３】主なオプション 【１】shoptコマンド * bashのシェルオプショ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/11/000000 の続き。 今回は、連想配列を扱う。 目次 【１】連想配列 - ディクショナリ 【２】構文 １）定義方法 ２）キーが存在しているか確認 【３】サンプル 例１：Hello world 例２：キーの存…
■ はじめに SQL の Window関数 (分析関数) について扱う。 PostgeSQLだけでなく、Redshiftでも使える。 今回は、その中で、 LAG / LEAD に絞る。 なお、ROW_NUMBER / RANK については、 以前やった以下の関連記事を参照のこと。 ROW_NUMBER / RANK + PARTITI…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/08/202004 の続き。 Redshiftは、PostgreSQL互換と言われているが ちょこちょこ異なっていること見つかる今日この頃。 今回は、文字列結合について扱い、 PostgreSQLとの差異についても扱う。 目…
■ はじめに 小ネタ。 Amazon Redshiftを使っていて、 キャストの仕方が色々あるようなので、纏めてみた。 特に、「２）「::」 を使用したキャスト」が知らなかったので、 自戒の意味を込めて、記しておく。 目次 【０】公式サイト 【１】Amazon Redshiftでの…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/21/000000 の続き。 今回は、split_part について、扱う。 目次 【１】split_part 【２】構文 【３】サンプル 例１：Hello world 【１】split_part * 指定した区切り文字「delimiter」で分割する …
■ はじめに ファイルを結合する必要がでてきたので、 cat で簡単にできたので、メモしておく。 目次 【１】cat 【２】使い方 １）閲覧 ２）ファイル結合 ３）空ファイルを作成する 【３】サンプル 例１：ファイル結合 例２：指定フォルダのテキストを全て結…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/04/172021 において 「３）インターリーブソートキー（Interleaved SortKey）」 の「デメリット」より ~~~~~~~~~~~ * インターリーブソートキーの性能を維持するためには 定期的に VACUUM REINDEX…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/29/000000 で、PostgreSQL と Amazon Redshift との違いに触れたが 「【０】サンプルテーブル」をPostgreSQLで実行したら いくつもエラーになった。 その中で、「distkey(listid)」「compound sor…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【１】COPYコマンド時にエラー「Forbidden: HTTP…
■ はじめに シェルで、split する必要がでてきたので、メモしておく。 目次 【１】シェルで split するには 【２】サンプル 例１：カンマ区切り 例２：ドット区切り（IPアドレス） 例３：export XXX1=YYY1;export XXX2=YYY2;... 【３】補足：配列の長さを求…
■ はじめに Hiveテーブルデータ を Redshift に移行することをやったので ざっくり方針などをメモ。 目次 【１】Hiveテーブルデータ を Redshift に移行するには １）移行手順案 ２）トラブルについて 【２】サンプル １）HiveのExternal TableでS3上に保存…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/29/000000 で、PostgreSQL において 自動採番IDしてくれる「SERIAL / BIGSERIAL / SMALLSERIAL」（※）は、 Redshiftでは対応していないと記載した。 そこで、Redshift は、自動採番をどう対応する…
■ はじめに AWS Glueで DB にアクセスした時にタイムアウトした際の トラブルについて、まとめる 目次 【１】概要 【２】動作環境 【３】エラー内容 【４】原因 【５】解決案 【１】概要 AWS Glue Job の 開始して、DB（今回は、Redshift）にアクセスしたら …
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/22/002139 が長くなったので分冊。 また、インデックスがサポートされていなかったという基本的なことも 分からなかった自分への戒め的にメモしておく。 目次 【１】一般的なDB との違い メモ：イ…
■ サンプル シェルで、変数名に val1,val2, ... って番号が振ってあって その変数をいちいち参照したくないからって探してたら eval（イーバル）があったので、メモしておく 目次 【１】eval コマンド 【２】使用上の注意 【３】サンプル 例１：Hello world …
■ はじめに SQLで変化（増加/変化なし/減少）について考える 目次 【１】ポイント １）過去データと比較するために自己結合する ２）データ仕様上、歯抜けがあるかどうかを確認 【２】Oracle 11g 例１：年間売上の変化（増加/変化なし/減少） 例２：年間売上…
■ はじめに 小ネタ。 RedshiftのLISTAGG 関数を調べている際に PostgreSQLのstring_agg が見つかったので メモっておく 目次 【１】string_agg 補足：Redshift / LISTAGG 【２】構文 【３】サンプル 例１：Hello world 【１】string_agg * グルーピングした…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/16/231459 の続き。 先日行ったシェルではエラーハンドリングまで考慮されていなかったので EMR上でStepごとにシェル実行した際に、そのStep内でエラーが発生しても、 途中でキャンセルにならずに…
■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 にEMRのトラブルを纏めていたが、 また違うトラブルが発生したので、メモしておく トラブルってゆーかー、そういう設定してるから起こったことだが。 目次 【１】EMR起動後にエラー「Eb…
