■ はじめに ストアドの例外処理について扱う 目次 【１】ストアド の 例外ハンドリング １）構文 【２】ストアド の 例外スロー １）構文 【３】カスタム例外を作成する １）構文 【４】サンプル 例１：Hello world 例２：独自例外 【１】ストアド の 例外ハ…

■ はじめに 業務で、PostgreSQL / Snowflake において REGEXP_SUBSTR や REGEXP_REPLACE でてきたので 調べて、徐々にではあるがまとめておく。 なお、サンプルは、PostgreSQL17で試した。 SQL Fiddle https://www.db-fiddle.com/ 目次 【０】正規表現関数 …

■ はじめに 小ネタ。 SQLのテーブル調査をしていて、 大文字 / 小文字が含まれているか判定する必要があったのでメモ。 【１】大文字 / 小文字が含まれているか判定するには [1] 大文字が含まれているかを判定 … WHERE 【対象項目】 != LOWER(【対象項目】);…

■ はじめに SQLFluff でエラーがあり、他のメンバーが解決してくれたのだが 色々と勉強になったので、トラブルをメモっておく 【１】トラブル概要 SQLFluffでLinter実行後に「エラー内容」が表示 【２】エラー内容 ConfigLoader.get_global() is deprecated,…

■ はじめに システムのマイグレーションで テーブル差分を調査する必要ができたので そのやり方を調べてみた 目次 【０】データ準備 １）使用データ 【１】方法１：差集合 EXCEPT / MINUS １）サンプル ２）使用上の注意 【２】方法２：LEFT OUTER JOIN １）…

■ はじめに https://dk521123.hatenablog.com/entry/2023/01/16/000000 https://dk521123.hatenablog.com/entry/2024/09/12/003814 で、SQLの集合演算について、扱った。 今回は、SQLの集合演算を利用して、 delete + insert 後のデータ確認してみる。 ラン…

■ はじめに https://dk521123.hatenablog.com/entry/2023/01/16/000000 https://dk521123.hatenablog.com/entry/2024/09/12/003814 で、SQLの集合演算の中で 積集合（共通部分の算出）する際の INTERSECT を行うのだが 一度もちゃんと取り上げていなかったの…

■ はじめに https://dk521123.hatenablog.com/entry/2024/02/28/225002 https://dk521123.hatenablog.com/entry/2024/03/04/180308 の続き。 業務において、SQLファイルを独自のルールでチェックをする必要がありそうなので SQLFluff の Custom rule (カスタ…

■ はじめに https://dk521123.hatenablog.com/entry/2024/02/28/225002 の続き。 SQL の Linter (リンター) で「SQLFluff」がでてくるが、 どうも「sqlfmt」と併用して使うことも多いみたいなので 調べてみた。 目次 【１】sqlfmt 【２】環境構築 【３】Lint…

■ はじめに SQL の Linter (リンター) について 使用したいって旨を頂いたので、調べてみたら 「SQLFluff」ってのがでてきたので、メモっておく 今回のこととは、まったく関係ないが、業務で以下のサイト教えてもらった。 キャリア形成や面接などで使えそう…

「基本がわかるSQL入門」って本で Window関数について取り上げてたので、メモ。 基本がわかるSQL入門 ——データベース&設計の基礎から楽しく学ぶ作者:西村 めぐみ技術評論社Amazon 目次 【１】Window関数 【２】用途 【３】構文 【４】主なWindow用の関数 【…

■ はじめに https://a5m2.mmatsubara.com/wp/?p=20255 で勉強になりそうな記事があったので徐々にメモ。 【１】初めに注目する点 * 無駄なテーブルの全体読み込みが発生していないか確認すること => TABLE ACCESS FULLのものに注目（「Seq Scan (PostgreSQL)…

■ はじめに SQL で前から集合ってことは知っていたが、 「基本がわかるSQL入門」って本で、 ちゃんと書かれていたので、メモ。 基本がわかるSQL入門 ——データベース&設計の基礎から楽しく学ぶ作者:西村 めぐみ技術評論社Amazon * Snowflake については、以下…

■ はじめに SQLで個人情報保護のためのマスキングを実装する 可能性がでてきたので、予習。 なお、実行環境は、PostgreSQL。 目次 【０】Tips １）RPAD / LPAD 【１】電話番号をマスキング 【２】Emailをマスキング 【０】Tips * 使用した文字列関数で、 Sno…

■ はじめに Snowflakeのデータ取り込みで、 重複データの調査を依頼されたのでメモ。 目次 【０】お題 補足：単純にそのデータがユニークどうか調べる場合 【１】関連するSQL １）GROUP BY ２）HAVING ３）自己相関サブクエリ ４）DISTINCT 【２】サンプル …

■ はじめに Snowflake の セミナーを受けていて、 date_trunc() がでてきて、今後も使えそうだったので SQLの日付・日時に関する操作する関数を 徐々にメモっていく。 目次 【１】DATE_TRUNC関数 【１】DATE_TRUNC関数 * 指定した単位（「hour」「month」な…

■ はじめに Hive と Redshift で カウントなどの集計情報するのに 全く関係ないテーブルを結合したので、 そのことについて、メモっておく。 （もっといい方法があれば、随時、更新していく） 目次 【１】結合方法 方法１：JOINを使った結合 【２】サンプル …

■ はじめに SQL の Window関数 (分析関数) について扱う。 PostgeSQLだけでなく、Redshiftでも使える。 今回は、その中で、 LAG / LEAD に絞る。 なお、ROW_NUMBER / RANK については、 以前やった以下の関連記事を参照のこと。 ROW_NUMBER / RANK + PARTITI…

■ はじめに SQLで変化（増加/変化なし/減少）について考える 目次 【１】ポイント １）過去データと比較するために自己結合する ２）データ仕様上、歯抜けがあるかどうかを確認 【２】Oracle 11g 例１：年間売上の変化（増加/変化なし/減少） 例２：年間売上…

■ はじめに https://dk521123.hatenablog.com/entry/2021/02/11/233633 で記載した警告文 ~~~~~~~ unix_timestamp(void) is deprecated. Use current_timestamp instead. ~~~~~~~ に対応し、クエリを修正したのだが、 修正前と修正後の確認で、SQL文「MINUS…

■ はじめに Hive でデータが積み重なるようなテーブル （例えば、ユーザ情報で入会・退会するようなデータ）に対して ユーザの最新/過去直近情報を取得するのに、 ROW_NUMBER + PARTITION BY を使ったので、メモする。 ついでに、RANK + PARTITION BY も載せ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/22/002139 https://dk521123.hatenablog.com/entry/2020/08/31/171754 で、Redshiftの勉強した際に、パフォーマンスの分析する際に EXPLAINステートメントがでてきた。 以前、やったはずだが、す…

■ はじめに 性別・部署別の最高齢を取得するSQLを考える 相関サブクエリ / 自己相関サブクエリを使う。 相関サブクエリ / 自己相関サブクエリについては、 以下の関連記事を参照のこと。 https://dk521123.hatenablog.com/entry/2016/01/23/230608 目次 【１…

■ はじめに 例えば... 全体数とその母数からさらに条件を付けてカウントしたい場合に それをサブクエリを使わずに、一回で行う方法を考える 目次 【１】解決案 【２】サンプル 【１】解決案 COUNT (条件 OR null) でカウント可能。 【２】サンプル * 全体数…

■ はじめに 初めの数文字が一致してたら同一データと見なし、 重複を排除するSQL文を考える 目次 【１】解決案 【２】サンプル 【１】解決案 以下を使えば可能。 * サブクエリ * LEFT() * GROUP BY 【２】サンプル * DB : MySQL5.7 テーブル CREATE TABLE `m…

【０】お題 * 現在日時に近い順にソートし、重複を排除する 【１】サンプル * 顧客テーブル「customer」と予約テーブル「reservation」があり、 予約日時に対して、現在日時に近い順にソートし、 顧客名の重複を排除するデータを取得する １）テーブル custo…

■ はじめに https://dk521123.hatenablog.com/entry/2016/06/16/220624 の続き。 今回は、テーブル制約変更を扱う 目次 【１】PRIMARY KEY制約 【２】UNIQUE制約 【３】Not null制約 【４】制約の削除 * 各制約（= CONSTRAINT）については、以下の関連記事を…

■ はじめに https://dk521123.hatenablog.com/entry/2010/07/09/201233 の続き。 今回は、テーブル変更するための「ALTER TABLE」を扱う 目次 【１】表名を変更する 【２】表の項目追加 【３】表の項目削除 【４】表の項目のデータ型 / 文字列長の変更 【５…

■ はじめに https://gihyo.jp/dev/serial/01/sql_academy2/000901 などで、 「SQLでループ→ 相関サブクエリ」とあるので、 相関サブクエリについて、学ぶ。 目次 【１】相関サブクエリ / 自己相関サブクエリ 【２】相関サブクエリの捉え方 【３】使用上の注…

■ はじめに * 書籍やサイトなどで、気になった事をメモる。 目次 【１】FROM から書く 【２】SQLを集合指向と捉える 【３】ループは GROUP BY句と相関サブクエリで置き換える 【１】FROM から書く SQL文を考える順番は、以下の順番で考える。 SQL文を考える…