2024-10-01から1ヶ月間の記事一覧
■ はじめに Snowflake で エラーがあったので 原因とトラブルシュートを書いておく 【１】現象 Snowflake で、 INSERT文で以下「【２】エラー内容」が表示 発生したSQL例 CREATE OR REPLACE TABLE demo_table ( ... comment VARCHAR(100) DEFAULT NULL, ... …
■ はじめに Jinja2がベースになっている dbt を使っていて 空白行が異常にできて見づらい。 また、それが原因かは不明だが、メモリエラーも発生しており いずれにせよ、余分な空行はない方がいいので、調べてみたら、 Jinja2 には、Whitespace Control 機能…
■ はじめに Kubernetes の Namespace (名前空間) について 徐々にメモっていく。 目次 【１】Namespace (名前空間) 【２】関連する kubectlコマンド １）Namespace一覧 ２）Namespace作成 ３）Namespace削除 【３】Hello world 【１】Namespace (名前空間) *…
■ はじめに https://dk521123.hatenablog.com/entry/2024/01/02/005053 https://dk521123.hatenablog.com/entry/2023/05/07/214515 などであったKubernetes 環境構築であったトラブルをメモっておく 目次 【１】minikube start時にエラー / Case1 【２】mini…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/29/003751 の続き。 DBT の Macro 作ったので、実用的な例をメモしておく 目次 【１】macro の引数 １）デフォルト引数 【２】例外 １）例外をスローする 【３】コメント文 【４】デバッグログ機…
■ はじめに VIM の コマンドモード の よく使う Tips をまとめておく。 目次 【１】コマンドモード 【２】実用例 例１：Pythonを実行する 例２：ファイル内をソートする 例３：差分をとる 例４：重複削除 【１】コマンドモード * vi には、以下の2つのモード…
■ はじめに Jinja2で 既存のリストから特定の文字列を除外したかったが、 https://dk521123.hatenablog.com/entry/2024/10/19/000848 で記載したように、リスト内包表記がサポート外とのことだったので、 大分ハマっていたら、フィルタのrejectでやりたいこ…
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/18/001757 https://dk521123.hatenablog.com/entry/2023/11/28/235951 https://dk521123.hatenablog.com/entry/2024/09/11/003301 https://dk521123.hatenablog.com/entry/2018/09/22/142348 等で…
■ はじめに dbt で macro を修正する必要があり、 jinja2の基本的な文法事項が分かっていなかったので まとめておく。 目次 【１】基本 【２】コメント文 １）使用上の注意 【３】変数 １）変数定義 ２）変数参照 【４】if文 １）論理演算子 【５】for文 １…
■ はじめに PostgreSQLのCOPY FROMでエラー「missing data for column xxxx」 になったのでメモ。 【１】現象 PostgreSQL で 以下の※１のようにCOPY FROMを使った際に 以下の「【２】エラーメッセージ」が表示する なお、PostgreSQLの環境は、以下の関連記事…
■ はじめに dbt の ドキュメント化（データリネージ機能）を使うために ローカル環境を整備してたら、docker 環境があれば pip よりも簡単に使えることが分かったのでメモしておく 公式ドキュメントより https://docs.getdbt.com/docs/core/installation-ove…
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/09/155708 で、以下「SQL文」でトラブルシュートしていたのだが、 QUERY_HISTORYビューのSTART_TIMEとEND_TIME（特にSTART_TIME） の時間帯が全く身に覚えない時間帯で実行されていて調べてみたら…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/03/000817 で、Snowflakeのトラブルシューティングのための統計情報を取得する方法を 扱っていたが、 今日、QUERY_HISTORY ビューを使って、トラブルシュートしたので 改めて、別冊で扱ってみた。…
■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 の続き。 作業で、S3バケット内のファイル容量を調べる必要が出てきて そのファイルの時間推移も併せて調べることとなった。 ちまちまManagement Console上から手作業で調べていたのだ…
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/05/234219 の続き。 前回の記事は、「Backfill」だったので 今回は、「Catchup」を集中で取り上げる 目次 【１】Catchup 【２】設定方法 １）DAG ２）airflow.cfg 【３】Hello World for Catchup …
■ はじめに 久しぶりに、Airflow について扱っており、 リカバリのために「Backfill」ってものを学んだので メモしておく 目次 【１】予備知識：DAG １）start_date ２）end_date ３）schedule_interval 【２】Backfill １）backfill コマンド ２）コマンド…
■ はじめに 最近、Email の判定テストを行っていて 不正なEmailアドレスと判定したアドレスに対して 本当にこれ不正？ってことがあったので、 久しぶりに RFC を調べてみた。 こういうこと結構また起きそうなので記録しておく。 タイトルが正規表現だが、メ…
■ はじめに 小ネタ。 最近小ネタばっかだが、、、 Snowflake の SELECT ... EXCLUDE が何気に便利だったので メモしておく。 目次 【１】SELECT ... EXCLUDE 【２】利点 【３】利用例 １）CREATE TABLE SELECT で利用 【１】SELECT ... EXCLUDE * EXCLUDEで…
