トラブル
■ はじめに CloudFormation の変数に関する扱いで、 結構ハマったので、メモしておく これ以外のトラブルについては、以下の関連記事を参照のこと。 CloudFormation でのトラブル https://dk521123.hatenablog.com/entry/2022/05/30/191507 【1】現象概要 C…
■ はじめに Proxy環境下でdocker pullしたらエラーでハマったのでメモ。 目次 【1】現象 【2】エラー内容 【3】原因 【4】解決案 【1】現象 Amazon EC2において、Proxy経由で docker イメージを pull/buildなどを使用としている。 そこで、以下の関連記…
■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション(')ではなく ダブルクォーテーション(")で囲んだ方が トラブル少なく済みそう 【1】現象 MWAA で Secret…
■ はじめに Github Actionsで「Waiting for a runner to pick up this job...」から 進まない状態に陥った。 今回の場合、self-hosted runners(独自サーバ)で対象リポジトリに 設定がされていなかったことが原因だったが、その教訓をメモっておく。 (別リポ…
■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。 目次 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …
■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【0】今回の教訓 【1】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【2】エラー「SQLException: No suitable driver found for ...」…
■ はじめに WSL + Python 時でのトラブルについてまとめた 【1】エラー「bad interpreter」が表示 pip install しようとした際にエラー「bad interpreter」 1)エラー内容 bash: /mnt/c/Users/user/.pyenv/pyenv-win/shims/pip: /bin/sh^M: bad interprete…
■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【1】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…
■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【1】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …
■ はじめに WindowsUpdateなどでいきなり、 WSL が起動しなくなった時の対処法をメモ。 目次 【1】WSL2無効化→有効化 【1】WSL2無効化→有効化 https://zenn.dev/karaage0703/articles/e30c9614a55bdb * WSL2をオフって再起動 [1] 検索ボックスに「Windows…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2023/04/14/151140 に近いのだが、別エラーがでたので、メモ。 【1】トラブル概要 テーブルの所有権を変更するために 以下「実行したSQL」した…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 などで発生したトラブルをまとめる 目次 【1】「dbt init users」実行時に「Error: Invalid value for '--profiles-dir'」が表示 【2】Windowsで「pip install --upgrade pip wheel s…
■ はじめに Snowflakeでトラブったので、 自戒の意味を込めてもメモ、、、 目次 【1】トラブル内容 1)エラーまでのSQL文 【2】エラー内容 【3】原因 【4】解決案 【5】Tips 1)SHOW GRANTS 2)GRANT 【1】トラブル内容 テーブルの普及作業でゴミが…
■ はじめに https://dk521123.hatenablog.com/entry/2023/01/25/000000 で「sbt-assembly」を使って、JARファイルの作成をした際に エラーが出たので、対処方法を記載する また、その過程で警告とかの対応方法も分かったのでメモ。 目次 【1】sbt-assembly…
■ はじめに WSLがらみのネットワークトラブルをメモ 本件で他に学べたこと * PowerShell + Get-NetAdapter + Set-NetAdapter (InterfaceMetric) + Get-DnsClientServerAddress (-AddresesFamily) + Where-Object (-Match) 目次 【1】現象 【2】エラー内容 …
■ はじめに Snowflake でCOPY INTO <TABLE> した際のトラブルをメモっておく。 目次 【1】トラブル概要 1)SQL文例 【2】原因 【3】解決案 案1:データロードの際に「FORCE=TRUE」を指定 案2:Tempテーブル経由でINSERTする 【1】トラブル概要 COPY INTO <TABLE> で</table></table>…
■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【1】トラブル概要 【2】エラーメッセージ 【3】…
■ はじめに 長い間、よくわからなかったSnowflakeの接続問題について やっと原因が理解できたので、メモする。 目次 【1】トラブル概要 【2】エラー内容 【3】原因 1)確認方法 【4】解決案 【5】別ケースでの同じエラー 【1】トラブル概要 Snowflake…
■ はじめに 久しぶりにAWS Glue に関するトラブルシューティング。 本件以外のAWS Glue に関するトラブルは関連記事を参照のこと。 【1】エラー概要 AWS Glue Jobを起動した際に、以下「エラー内容」が表示された。 指定されているパス (今回の場合「s3://…
■ はじめに Snowflake で エラー「Failure using stage area. ... AccessDenied」が 発生したので、メモ。 目次 【1】トラブル概要 【2】エラー内容 【3】原因 【4】解決案 【1】トラブル概要 以下の「エラーになったSQL文」を実行したところ、 以下の…
■ はじめに https://dk521123.hatenablog.com/entry/2022/09/27/165923 と同じようなエラーが発生したのだが、若干対応方法が変わったのと その後に別エラーメッセージが発生して、対応がかなり大変だったので 記事としてまとめておく。 # これで、多少はPul…
■ はじめに pulumi up --target をした際に エラー「snapshot integrity failure」が発生して焦ったが どうにか解消できたので、メモ。 目次 【1】トラブル概要 1)似たようなトラブル:pulumi stack selectをした際にエラー 【2】エラー内容 【3】原因 …
■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の2ケースについて、あげておく。 目次 【1】例1:エラー「Table does not exist or not authorized」時の対応 1)トラブル概要 2)エラー内容 3)原因 4)解決案 【2】例2:…
■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【1】エラー内…
■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【0】教訓:S3バケットのアクセストラブルの勘所 【1】エラー「An error occured (403) when calling the HeadObject operation: Forbid…
■ はじめに AWS CLI実行で少しハマったのでメモ。 【1】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 今回の以外のCloudFormationに関するトラブルについては 以下の関連記事を参照のこと。 CloudFormation…
■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…
■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…
■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…