◾️はじめに 年末の休みに入る前にCI/CDが動かなくなった。 確認してみると、Self-hosted runner が Offline だった。 そこで、Self-hosted runner で Offline だった場合の対応について考える ちなみに、今回の要因は 『２）要因「Self-hosted runner上のRun…

■ はじめに 小ネタ。 PostgreSQL・Redshiftにおいて、 ストアドの内容を確認する方法を調べて忘れそうなので メモっておく （多分、年明けとか、また使いそうなので） 目次 【１】ストアドの内容を確認するには 【２】補足：ストアド名一覧表示 【１】ストア…

■ はじめに 小ネタ。 dbt CLI の --emptyフラグ についてメモっておく 目次 【１】--emptyフラグ 【２】使用上の注意 【３】使いどころ 【４】--emptyあれこれ １）使用例 ２）--emptyかどうかの判断 【１】--emptyフラグ * --emptyフラグを付与することによ…

■ はじめに dbt の version 更新するって話もあるので dbt の version更新についてメモっておく 最近になって dbt v1.9 がリリースされてる だけど、Dec 9, 2024にリリースして Dec 8, 2025で サポートキレるって1年間だけってきついな、、、 目次 【１】dbt…

■ はじめに MWAA の Airflow バージョンを v2.7 から更新したい って話があるので、MWAA の Version更新について調べてみた 目次 【１】サポートバージョン 【２】Apache Airflow バージョンのアップグレード １）メジャーバージョン更新の場合（e.g. 1.y.z …

■ はじめに Amazon Macie ってのが話題になったので 軽く調べてみた 目次 【１】Amazon Macie 【２】料金 【３】サポート状況 １）S3 ストレージクラス ２）ファイルフォーマット 【１】Amazon Macie * S3バケットから機密データを検出できるAWSサービス cf.…

■ はじめに https://dk521123.hatenablog.com/entry/2024/12/11/212315 でも触れたが、Streamlit in Snowflake を触ってみた。 目次 【１】Streamlit in Snowflake 【２】用途 【３】使用上の注意 １）接続がアクティブだとその分だけお金がかかる ２）機能…

■ はじめに 今日、業務で、「streamlit」ってのがでてきて どうも、Snowflake が streamlit を買収され、 https://www.snowflake.com/ja/blog/snowflake-to-acquire-streamlit/ Snowflake上でも動く（Streamlit in Snowflake）とか話題になった。 https://do…

■ はじめに Snowflake で Windows関数を使った際のトラブルシュートをメモ。 【１】トラブル概要 Snowflake で Windows関数「ROW_NUMBER() OVER PARTITION BY」を使った際に 以下「エラー内容」が表示してしまう １）エラーが発生したSQL SELECT * FROM ( --…

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/15/014005 の続き。 今回は、Airflow の タスクインスタンスの状態について、徐々にメモっていく 目次 【１】状態遷移図 【２】Task Instance状態 【１】状態遷移図 * まずは、以下の公式ドキュメ…

■ はじめに 業務で制御文字SOH（確かHiveのデフォルト区切り文字？）で 区切られたファイルを扱うことになった。 そのままだと扱いづらいので、そのことに関する完全自分用のメモ。 加工したファイルを最終的にSnowflake のステージ経由で表示したいのが目的…

■ はじめに https://dk521123.hatenablog.com/entry/2010/08/06/111640 の続き。過去記事を整理。 SQL のIN句 / NOT IN句を扱う 【１】IN句 / NOT IN句 * 「値1 か 値2 か ・・・・ のどれかに合う」データを返す * 指定した条件が、対象項目に入ってるかど…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/02/230435 で、以前、テーブル情報を取得したが 今回は、PostgreSQLの統計情報系についてまとめてみる 目次 【１】pg_catalog スキーマ １）pg_statio_all_tables ２）pg_description 【２】infor…

■ はじめに ストアドの例外処理について扱う 目次 【１】ストアド の 例外ハンドリング １）構文 【２】ストアド の 例外スロー １）構文 【３】カスタム例外を作成する １）構文 【４】サンプル 例１：Hello world 例２：独自例外 【１】ストアド の 例外ハ…

■ はじめに ストアドの条件分岐について扱う 目次 【１】IF 【２】サンプル 例１：Hello World 【１】IF IF 【条件１】 THEN -- ELSEIF 【条件２】 THEN -- ELSE -- END IF; PostgreSQL https://www.postgresql.jp/document/7.2/programmer/plpgsql-control-…

■ はじめに 今回は、Redshiftの ストアド プロシージャ (Stored Procedure) を 解析しなくてはならなくなり、色々と知らんことがあったのでメモしておく （Redshiftだと手元で弄れないので、代わりにPostgreSQLを使った） SQL Fiddle https://www.db-fiddle.…

■ はじめに 業務で、PostgreSQL / Snowflake において REGEXP_SUBSTR や REGEXP_REPLACE でてきたので 調べて、徐々にではあるがまとめておく。 なお、サンプルは、PostgreSQL17で試した。 SQL Fiddle https://www.db-fiddle.com/ 目次 【０】正規表現関数 …

■ はじめに 小ネタ。 SQLのテーブル調査をしていて、 大文字 / 小文字が含まれているか判定する必要があったのでメモ。 【１】大文字 / 小文字が含まれているか判定するには [1] 大文字が含まれているかを判定 … WHERE 【対象項目】 != LOWER(【対象項目】);…

■ はじめに Snowflake で エラーがあったので 原因とトラブルシュートを書いておく 【１】現象 Snowflake で、 INSERT文で以下「【２】エラー内容」が表示 発生したSQL例 CREATE OR REPLACE TABLE demo_table ( ... comment VARCHAR(100) DEFAULT NULL, ... …

■ はじめに Jinja2がベースになっている dbt を使っていて 空白行が異常にできて見づらい。 また、それが原因かは不明だが、メモリエラーも発生しており いずれにせよ、余分な空行はない方がいいので、調べてみたら、 Jinja2 には、Whitespace Control 機能…

■ はじめに Kubernetes の Namespace (名前空間) について 徐々にメモっていく。 目次 【１】Namespace (名前空間) 【２】関連する kubectlコマンド １）Namespace一覧 ２）Namespace作成 ３）Namespace削除 【３】Hello world 【１】Namespace (名前空間) *…

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/02/005053 https://dk521123.hatenablog.com/entry/2023/05/07/214515 などであったKubernetes 環境構築であったトラブルをメモっておく 目次 【１】minikube start時にエラー / Case1 【２】mini…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/29/003751 の続き。 DBT の Macro 作ったので、実用的な例をメモしておく 目次 【１】macro の引数 １）デフォルト引数 【２】例外 １）例外をスローする 【３】コメント文 【４】デバッグログ機…

■ はじめに VIM の コマンドモード の よく使う Tips をまとめておく。 目次 【１】コマンドモード 【２】実用例 例１：Pythonを実行する 例２：ファイル内をソートする 例３：差分をとる 例４：重複削除 【１】コマンドモード * vi には、以下の2つのモード…

■ はじめに Jinja2で 既存のリストから特定の文字列を除外したかったが、 https://dk521123.hatenablog.com/entry/2024/10/19/000848 で記載したように、リスト内包表記がサポート外とのことだったので、 大分ハマっていたら、フィルタのrejectでやりたいこ…

■ はじめに https://dk521123.hatenablog.com/entry/2024/10/18/001757 https://dk521123.hatenablog.com/entry/2023/11/28/235951 https://dk521123.hatenablog.com/entry/2024/09/11/003301 https://dk521123.hatenablog.com/entry/2018/09/22/142348 等で…

■ はじめに dbt で macro を修正する必要があり、 jinja2の基本的な文法事項が分かっていなかったので まとめておく。 目次 【１】基本 【２】コメント文 １）使用上の注意 【３】変数 １）変数定義 ２）変数参照 【４】if文 １）論理演算子 【５】for文 １…

■ はじめに PostgreSQLのCOPY FROMでエラー「missing data for column xxxx」 になったのでメモ。 【１】現象 PostgreSQL で 以下の※１のようにCOPY FROMを使った際に 以下の「【２】エラーメッセージ」が表示する なお、PostgreSQLの環境は、以下の関連記事…

■ はじめに dbt の ドキュメント化（データリネージ機能）を使うために ローカル環境を整備してたら、docker 環境があれば pip よりも簡単に使えることが分かったのでメモしておく 公式ドキュメントより https://docs.getdbt.com/docs/core/installation-ove…

■ はじめに https://dk521123.hatenablog.com/entry/2024/10/09/155708 で、以下「SQL文」でトラブルシュートしていたのだが、 QUERY_HISTORYビューのSTART_TIMEとEND_TIME（特にSTART_TIME） の時間帯が全く身に覚えない時間帯で実行されていて調べてみたら…