◾️はじめに 年末の休みに入る前にCI/CDが動かなくなった。 確認してみると、Self-hosted runner が Offline だった。 そこで、Self-hosted runner で Offline だった場合の対応について考える ちなみに、今回の要因は 『２）要因「Self-hosted runner上のRun…

■ はじめに 小ネタ。 PostgreSQL・Redshiftにおいて、 ストアドの内容を確認する方法を調べて忘れそうなので メモっておく （多分、年明けとか、また使いそうなので） 目次 【１】ストアドの内容を確認するには 【２】補足：ストアド名一覧表示 【１】ストア…

■ はじめに 小ネタ。 dbt の --emptyフラグ についてメモっておく 目次 【１】--emptyフラグ 【２】使用上の注意 【３】使いどころ 【４】--emptyあれこれ １）使用例 ２）--emptyかどうかの判断 【１】--emptyフラグ * --emptyフラグを付与することにより、…

■ はじめに dbt の version 更新するって話もあるので dbt の version更新についてメモっておく 最近になって dbt v1.9 がリリースされてる だけど、Dec 9, 2024にリリースして Dec 8, 2025で サポートキレるって1年間だけってきついな、、、 目次 【１】dbt…

■ はじめに MWAA の Airflow バージョンを v2.7 から更新したい って話があるので、MWAA の Version更新について調べてみた 目次 【１】サポートバージョン 【２】Apache Airflow バージョンのアップグレード １）メジャーバージョン更新の場合（e.g. 1.y.z …

■ はじめに Amazon Macie ってのが話題になったので 軽く調べてみた 目次 【１】Amazon Macie 【２】料金 【３】サポート状況 １）S3 ストレージクラス ２）ファイルフォーマット 【１】Amazon Macie * S3バケットから機密データを検出できるAWSサービス cf.…

■ はじめに https://dk521123.hatenablog.com/entry/2024/12/11/212315 でも触れたが、Streamlit in Snowflake を触ってみた。 目次 【１】Streamlit in Snowflake 【２】用途 【３】使用上の注意 １）接続がアクティブだとその分だけお金がかかる ２）機能…

■ はじめに 今日、業務で、「streamlit」ってのがでてきて どうも、Snowflake が streamlit を買収され、 https://www.snowflake.com/ja/blog/snowflake-to-acquire-streamlit/ Snowflake上でも動く（Streamlit in Snowflake）とか話題になった。 https://do…

■ はじめに Snowflake で Windows関数を使った際のトラブルシュートをメモ。 【１】トラブル概要 Snowflake で Windows関数「ROW_NUMBER() OVER PARTITION BY」を使った際に 以下「エラー内容」が表示してしまう １）エラーが発生したSQL SELECT * FROM ( --…

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/15/014005 の続き。 今回は、Airflow の タスクインスタンスの状態について、徐々にメモっていく 目次 【１】状態遷移図 【２】Task Instance状態 【１】状態遷移図 * まずは、以下の公式ドキュメ…

■ はじめに 業務で制御文字SOH（確かHiveのデフォルト区切り文字？）で 区切られたファイルを扱うことになった。 そのままだと扱いづらいので、そのことに関する完全自分用のメモ。 加工したファイルを最終的にSnowflake のステージ経由で表示したいのが目的…

■ はじめに https://dk521123.hatenablog.com/entry/2010/08/06/111640 の続き。過去記事を整理。 SQL のIN句 / NOT IN句を扱う 【１】IN句 / NOT IN句 * 「値1 か 値2 か ・・・・ のどれかに合う」データを返す * 指定した条件が、対象項目に入ってるかど…