トラブル
◾️はじめに 原因はエラー内容ですぐに解決できたが いまいち、納得のいく記述がなかったので 現象自体をメモしておく 【１】トラブル概要 以下のINSERT SELECT 文を実行したところ、 エラー「Expression type does not match column data type」 が表示され…
◾️はじめに Snowflakeでトラブルがあったのでメモ。 以下のサイトが非常にいい記事で助かった。 https://zenn.dev/indigo13love/articles/be2a44901cc0af 目次 【１】トラブル概要 １）エラーになるSQL例 ２）エラーにならなかったSQL例 【２】エラー内容 【…
◾️はじめに 少し作業に余裕が出てきて、docker での警告を見てみたら 勉強になったのでメモ。 学べたこと * Orphan containers（孤立したコンテナ）および「--remove-orphans」オプション * Dockerのプロジェクト名 * 「to avoid potential confusion」って…
■ はじめに Snowflake で Windows関数を使った際のトラブルシュートをメモ。 【１】トラブル概要 Snowflake で Windows関数「ROW_NUMBER() OVER PARTITION BY」を使った際に 以下「エラー内容」が表示してしまう １）エラーが発生したSQL SELECT * FROM ( --…
■ はじめに Snowflake で エラーがあったので 原因とトラブルシュートを書いておく 【１】現象 Snowflake で、 INSERT文で以下「【２】エラー内容」が表示 発生したSQL例 CREATE OR REPLACE TABLE demo_table ( ... comment VARCHAR(100) DEFAULT NULL, ... …
■ はじめに https://dk521123.hatenablog.com/entry/2024/01/02/005053 https://dk521123.hatenablog.com/entry/2023/05/07/214515 などであったKubernetes 環境構築であったトラブルをメモっておく 目次 【１】minikube start時にエラー / Case1 【２】mini…
■ はじめに PostgreSQLのCOPY FROMでエラー「missing data for column xxxx」 になったのでメモ。 【１】現象 PostgreSQL で 以下の※１のようにCOPY FROMを使った際に 以下の「【２】エラーメッセージ」が表示する なお、PostgreSQLの環境は、以下の関連記事…
■ はじめに SQLFluff でエラーがあり、他のメンバーが解決してくれたのだが 色々と勉強になったので、トラブルをメモっておく 【１】トラブル概要 SQLFluffでLinter実行後に「エラー内容」が表示 【２】エラー内容 ConfigLoader.get_global() is deprecated,…
■ はじめに Snowflakeでトラブルシューティングしたので、メモ。 【１】トラブル概要 以下「実行したSQL」のように CREATE TABLE ... CLONE でテーブルのバックアップを試みたところ、 以下「【２】エラー内容」が発生した。 実行したSQL CREATE TABLE demo_…
■ はじめに 動的なdbt 実行時でのトラブルシュートを徐々に記録しておく 目次 【１】Airflow + dbt でエラー「Task exited with return code -9」 【２】エラー「'>' not supported between instances of 'Table' and 'int'」 【３】エラー「Model XXX depen…
■ はじめに https://dk521123.hatenablog.com/entry/2024/08/23/012045 で、dbt version を v1.7 -> v1.8 に アップグレードした時に トラブルが発生したので、そのトラブルシュートをメモっておく なお、トラブルに関しては、以下の公式のIssueで既に挙げら…
■ はじめに 前日まで動いてたGithub actions がいきなり動かなくなったが 周りに助けてもらったので、感謝。。。 でも、これ、結構、トラブルになりそうなので、メモ。 目次 【１】現象 【２】エラーメッセージ 【３】発生環境 補足：GitHubホステッドランナ…
■ はじめに デバイス（PC）を故障した際に、新しいPCに乗り換える時に Githubアカウントに関しては、かなり特殊だったので メモと教訓を書いておく。 目次 【１】今回の状況 １）2 要素認証クレデンシャルをなくした際のアカウントの回復 【２】今回の解決案…
■ はじめに 小ネタ。 GithubのREADME.md で意図しない動きだったのでメモ。 【１】現象 以下「１）フォルダ構成」のように、README.md を置いたら .github 直下に README.md がリポジトリルートに表示された １）フォルダ構成 + README.md + .github + READM…
■ はじめに CloudFormation の変数に関する扱いで、 結構ハマったので、メモしておく これ以外のトラブルについては、以下の関連記事を参照のこと。 CloudFormation でのトラブル https://dk521123.hatenablog.com/entry/2022/05/30/191507 【１】現象概要 C…
■ はじめに Proxy環境下でdocker pullしたらエラーでハマったのでメモ。 目次 【１】現象 【２】エラー内容 【３】原因 【４】解決案 【１】現象 Amazon EC2において、Proxy経由で docker イメージを pull/buildなどを使用としている。 そこで、以下の関連記…
■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション（'）ではなく ダブルクォーテーション（"）で囲んだ方が トラブル少なく済みそう 【１】現象 MWAA で Secret…
■ はじめに Github Actionsで「Waiting for a runner to pick up this job...」から 進まない状態に陥った。 今回の場合、self-hosted runners(独自サーバ)で対象リポジトリに 設定がされていなかったことが原因だったが、その教訓をメモっておく。 （別リポ…
■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。 目次 【１】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 【１】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …
■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【０】今回の教訓 【１】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【２】エラー「SQLException: No suitable driver found for ...」…
■ はじめに WSL + Python 時でのトラブルについてまとめた 【１】エラー「bad interpreter」が表示 pip install しようとした際にエラー「bad interpreter」 １）エラー内容 bash: /mnt/c/Users/user/.pyenv/pyenv-win/shims/pip: /bin/sh^M: bad interprete…
■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【１】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…
■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【１】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …
■ はじめに WindowsUpdateなどでいきなり、 WSL が起動しなくなった時の対処法をメモ。 目次 【１】WSL2無効化→有効化 【１】WSL2無効化→有効化 https://zenn.dev/karaage0703/articles/e30c9614a55bdb * WSL2をオフって再起動 [1] 検索ボックスに「Windows…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2023/04/14/151140 に近いのだが、別エラーがでたので、メモ。 【１】トラブル概要 テーブルの所有権を変更するために 以下「実行したSQL」した…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 などで発生したトラブルをまとめる 目次 【１】「dbt init users」実行時に「Error: Invalid value for '--profiles-dir'」が表示 【２】Windowsで「pip install --upgrade pip wheel s…
■ はじめに Snowflakeでトラブったので、 自戒の意味を込めてもメモ、、、 目次 【１】トラブル内容 １）エラーまでのSQL文 【２】エラー内容 【３】原因 【４】解決案 【５】Tips １）SHOW GRANTS ２）GRANT 【１】トラブル内容 テーブルの普及作業でゴミが…
■ はじめに https://dk521123.hatenablog.com/entry/2023/01/25/000000 で「sbt-assembly」を使って、JARファイルの作成をした際に エラーが出たので、対処方法を記載する また、その過程で警告とかの対応方法も分かったのでメモ。 目次 【１】sbt-assembly…
■ はじめに WSLがらみのネットワークトラブルをメモ 本件で他に学べたこと * PowerShell + Get-NetAdapter + Set-NetAdapter (InterfaceMetric) + Get-DnsClientServerAddress (-AddresesFamily) + Where-Object (-Match) 目次 【１】現象 【２】エラー内容 …
■ はじめに Snowflake でCOPY INTO <TABLE> した際のトラブルをメモっておく。 目次 【１】トラブル概要 １）SQL文例 【２】原因 【３】解決案 案１：データロードの際に「FORCE=TRUE」を指定 案２：Tempテーブル経由でINSERTする 【１】トラブル概要 COPY INTO <TABLE> で</table></table>…
