2021-08-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/29/000000 で、PostgreSQL において 自動採番IDしてくれる「SERIAL / BIGSERIAL / SMALLSERIAL」（※）は、 Redshiftでは対応していないと記載した。 そこで、Redshift は、自動採番をどう対応する…
■ はじめに AWS Glueで DB にアクセスした時にタイムアウトした際の トラブルについて、まとめる 目次 【１】概要 【２】動作環境 【３】エラー内容 【４】原因 【５】解決案 【１】概要 AWS Glue Job の 開始して、DB（今回は、Redshift）にアクセスしたら …
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/22/002139 が長くなったので分冊。 また、インデックスがサポートされていなかったという基本的なことも 分からなかった自分への戒め的にメモしておく。 目次 【１】一般的なDB との違い メモ：イ…
■ サンプル シェルで、変数名に val1,val2, ... って番号が振ってあって その変数をいちいち参照したくないからって探してたら eval（イーバル）があったので、メモしておく 目次 【１】eval コマンド 【２】使用上の注意 【３】サンプル 例１：Hello world …
■ はじめに SQLで変化（増加/変化なし/減少）について考える 目次 【１】ポイント １）過去データと比較するために自己結合する ２）データ仕様上、歯抜けがあるかどうかを確認 【２】Oracle 11g 例１：年間売上の変化（増加/変化なし/減少） 例２：年間売上…
■ はじめに 小ネタ。 RedshiftのLISTAGG 関数を調べている際に PostgreSQLのstring_agg が見つかったので メモっておく 目次 【１】string_agg 補足：Redshift / LISTAGG 【２】構文 【３】サンプル 例１：Hello world 【１】string_agg * グルーピングした…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/16/231459 の続き。 先日行ったシェルではエラーハンドリングまで考慮されていなかったので EMR上でStepごとにシェル実行した際に、そのStep内でエラーが発生しても、 途中でキャンセルにならずに…
■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 にEMRのトラブルを纏めていたが、 また違うトラブルが発生したので、メモしておく トラブルってゆーかー、そういう設定してるから起こったことだが。 目次 【１】EMR起動後にエラー「Eb…
■ はじめに 恥ずかしながら、PostgreSQLのスキーマとDBが一緒なものだと 思っていた、、、 そんな自戒な意味を込めて、PostgreSQLのスキーマについて 学んでおく。 目次 【１】スキーマ (Schema) 【２】構文 【１】スキーマ (Schema) * 名前空間 を設定する…
■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 の「【２】エラー「Terminated with errors Bootstrap failure」が表示」で シェルスクリプトの改行がCRLFだと、Amazon EMRがうまく動かなかったことがあった。 で、また、エラー表示は…
■ はじめに Amazon EMR で シェル経由で Amazon Redshift に対して SQL を実行し、 そのシェルが実行結果を受け取り、 結果によって、エラーにするか / 正常終了にするか ってことを実装したい。 そこで、まずは、Amazon Redshift の元となっている PostgreS…
■ はじめに PostgreSQL で インデックス (index) を使う必要が出てきたので メモっておく。 目次 【１】インデックス 【２】構文 【３】インデックスの種類 【１】インデックス * 以下を参照。 インデックス ～ 入門編 ～ https://dk521123.hatenablog.com/e…
■ はじめに 小ネタ。 ファイルの書き出しについて、意外と使うのでメモ。 Dockerなんかの簡単な設定ファイル作成にも便利。 目次 【１】ファイル出力 １）echo を使ったファイル出力 ２）printf を使ったファイル出力 【２】使用上の注意 - printf １）「%」…
■ はじめに シェルで、ヘッダー付きのCSV / TSVファイルの読み込み その一部を列を配列として扱いたいので、調べてメモっておく。 目次 【１】CSVファイルを読み込み出力する 【２】ヘッダー（1行目）を除外して出力する 【３】TSVファイルを読み込む 【４】…
■ はじめに シェルの配列に関して、まとめておく。 目次 【０】シェルの配列種類 【１】配列 - リスト １）定義方法 ２）要素の追加 ３）要素の削除 ４）関数の引数・戻り値 ５）配列のソート 【２】連想配列 - ディクショナリ 【０】シェルの配列種類 シェ…
■ はじめに MySQL でいう AUTO_INCREMENT 属性みたいに 自動的に ID を付与してくれるテーブルを作る必要ができたので 調べてメモる。 目次 【１】自動ID付与 【２】連番型「SERIAL / BIGSERIAL / SMALLSERIAL」 【３】サンプル 【４】おまけ：Amazon Redshi…
■ はじめに https://dk521123.hatenablog.com/entry/2015/02/20/001600 より分冊。 シェルのループについて、メモっておく。 目次 【１】while １）構文 【２】for １）構文 ２）サンプル 例１：規定回数ループする 例２：拡張子「.sql」のファイル一覧表示 …
■ はじめに Amazon Route 53 について、メモる。 目次 【１】Amazon Route 53 【２】機能 １）ドメイン名取得 ２）DNS設定 ３）DNS ヘルスチェック 【３】関連用語 １）Zone APEX ２）トラフィックルーティング 【１】Amazon Route 53 * 以下の機能を持つAWS…
■ はじめに https://dk521123.hatenablog.com/entry/2016/07/27/214633 の続き。 今回は、DNS関連のネットワークコマンドについて扱う。 目次 【１】nslookup 【２】dig 【１】nslookup * DNSを利用してホスト名からIPアドレスに 変換またはその逆が出来るか…
■ はじめに https://dk521123.hatenablog.com/entry/2020/11/03/000000 の続き。 Hive の テーブルデータ を GZIP にするなどを行ったので 知識を整理しておく 目次 【１】テーブルデータを圧縮する １）サンプル 【２】ファイルフォーマットを指定する １）…
■ はじめに 小ネタ。 ILIKE とかを使ったので、記録しておく。 目次 【０】テストデータ 【１】ILIKE 【０】テストデータ CREATE TABLE IF NOT EXISTS "users" ( "user_id" INTEGER NOT NULL, "user_name" VARCHAR(50) NOT NULL, "created_at" TIMESTAMP NUL…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/30/000000 で扱った pigz を Python から 起動するような処理を見た。 今回は、Python から コマンド実行することについて、まとめてみた。 目次 【０】外部コマンド実行モジュールについて 【１…
■ はじめに なんだかんだで、シェルスクリプト（Bsh）を扱う機会があって その中で文字列抽出をちょこちょこのだが、すぐに忘れてしまう、、、 で、ブログにまとめておいたつもりだったが、 全然まとまっていなかったので、今回で整理する。 また、cut / rev…
■ はじめに EMR から Glue workflow を実行することになったので、 AWS Glue に関する AWS CLI について、メモっておく。 目次 【０】API仕様 【１】ヘルプを表示するには 【２】AWS CLI 使用例 １）Glue Workflow を実行するには ２）Glue Connection を取…
■ はじめに AWS Redshift を psql コマンドでファイル実行しようと思っていて その際に、Hive の変数（以下の関連記事を参照）のように渡したい。 https://dk521123.hatenablog.com/entry/2021/06/24/094254 その第一段階として、Redshiftの元となっている P…
