トラブル

【トラブル】【Docker】Proxy環境下でdocker pullしたらエラー

■ はじめに Proxy環境下でdocker pullしたらエラーでハマったのでメモ。 目次 【1】現象 【2】エラー内容 【3】原因 【4】解決案 【1】現象 Amazon EC2において、Proxy経由で docker イメージを pull/buildなどを使用としている。 そこで、以下の関連記…

【トラブル】【Airflow】MWAA で Secrets Manager の設定追加後にAirflow CLIからエラー

■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション(')ではなく ダブルクォーテーション(")で囲んだ方が トラブル少なく済みそう 【1】現象 MWAA で Secret…

【トラブル】【Github】Github Actionsで「Waiting for a runner to pick up this job...」から進まない

■ はじめに Github Actionsで「Waiting for a runner to pick up this job...」から 進まない状態に陥った。 今回の場合、self-hosted runners(独自サーバ)で対象リポジトリに 設定がされていなかったことが原因だったが、その教訓をメモっておく。 (別リポ…

【トラブル】【AWS】S3権限周りのトラブルシュート

■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。 目次 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …

【トラブル】【Kafka】ローカル環境のKafkaでのトラブル

■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【0】今回の教訓 【1】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【2】エラー「SQLException: No suitable driver found for ...」…

【トラブル】【WSL】WSL + Python 時でのトラブル

■ はじめに WSL + Python 時でのトラブルについてまとめた 【1】エラー「bad interpreter」が表示 pip install しようとした際にエラー「bad interpreter」 1)エラー内容 bash: /mnt/c/Users/user/.pyenv/pyenv-win/shims/pip: /bin/sh^M: bad interprete…

【トラブル】【AWS】デタッチしたらエラー「You do not have permission...」表示

■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【1】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…

【トラブル】【AWS】EMRのBootstrapでエラー「BOOTSTRAP_FAILURE_BA_DOWNLOAD_FAILED_PRIMARY」が表示

■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【1】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …

【WSL】WSL が起動しなくなった時の対処

■ はじめに WindowsUpdateなどでいきなり、 WSL が起動しなくなった時の対処法をメモ。 目次 【1】WSL2無効化→有効化 【1】WSL2無効化→有効化 https://zenn.dev/karaage0703/articles/e30c9614a55bdb * WSL2をオフって再起動 [1] 検索ボックスに「Windows…

【Snowflake】【トラブル】エラー「Ownership restriction violation」時の対応

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2023/04/14/151140 に近いのだが、別エラーがでたので、メモ。 【1】トラブル概要 テーブルの所有権を変更するために 以下「実行したSQL」した…

【トラブル】【dbt】dbt に関するトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 などで発生したトラブルをまとめる 目次 【1】「dbt init users」実行時に「Error: Invalid value for '--profiles-dir'」が表示 【2】Windowsで「pip install --upgrade pip wheel s…

【Snowflake】【トラブル】所有権変更後にエラー「current role has no privileges on it」

■ はじめに Snowflakeでトラブったので、 自戒の意味を込めてもメモ、、、 目次 【1】トラブル内容 1)エラーまでのSQL文 【2】エラー内容 【3】原因 【4】解決案 【5】Tips 1)SHOW GRANTS 2)GRANT 【1】トラブル内容 テーブルの普及作業でゴミが…

【トラブル】【Scala】SBTでのエラー/警告対応

■ はじめに https://dk521123.hatenablog.com/entry/2023/01/25/000000 で「sbt-assembly」を使って、JARファイルの作成をした際に エラーが出たので、対処方法を記載する また、その過程で警告とかの対応方法も分かったのでメモ。 目次 【1】sbt-assembly…

【トラブル】【WSL】WSLで外部に繋げない

■ はじめに WSLがらみのネットワークトラブルをメモ 本件で他に学べたこと * PowerShell + Get-NetAdapter + Set-NetAdapter (InterfaceMetric) + Get-DnsClientServerAddress (-AddresesFamily) + Where-Object (-Match) 目次 【1】現象 【2】エラー内容 …

【Snowflake】【トラブル】COPY INTO したがデータが格納されていない

■ はじめに Snowflake でCOPY INTO <TABLE> した際のトラブルをメモっておく。 目次 【1】トラブル概要 1)SQL文例 【2】原因 【3】解決案 案1:データロードの際に「FORCE=TRUE」を指定 案2:Tempテーブル経由でINSERTする 【1】トラブル概要 COPY INTO <TABLE> で</table></table>…

【トラブル】【AWS】Glue Job を並列で動かそうとしたら ConcurrentRunsExceededExceptionが発生

■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【1】トラブル概要 【2】エラーメッセージ 【3】…

【Snowflake】【トラブル】エラー「Error assuming AWS_ROLE」時の対応

■ はじめに 長い間、よくわからなかったSnowflakeの接続問題について やっと原因が理解できたので、メモする。 目次 【1】トラブル概要 【2】エラー内容 【3】原因 1)確認方法 【4】解決案 【5】別ケースでの同じエラー 【1】トラブル概要 Snowflake…

【トラブル】【AWS】Glue Jobを起動した際にエラー「LANCH ERROR | java.net.URISyntaxException」が発生

■ はじめに 久しぶりにAWS Glue に関するトラブルシューティング。 本件以外のAWS Glue に関するトラブルは関連記事を参照のこと。 【1】エラー概要 AWS Glue Jobを起動した際に、以下「エラー内容」が表示された。 指定されているパス (今回の場合「s3://…

【Snowflake】【トラブル】エラー「Failure using stage area. ... AccessDenied」時の対応

■ はじめに Snowflake で エラー「Failure using stage area. ... AccessDenied」が 発生したので、メモ。 目次 【1】トラブル概要 【2】エラー内容 【3】原因 【4】解決案 【1】トラブル概要 以下の「エラーになったSQL文」を実行したところ、 以下の…

【Pulumi】【トラブル】Pulumi に関するトラブル2

■ はじめに https://dk521123.hatenablog.com/entry/2022/09/27/165923 と同じようなエラーが発生したのだが、若干対応方法が変わったのと その後に別エラーメッセージが発生して、対応がかなり大変だったので 記事としてまとめておく。 # これで、多少はPul…

【Pulumi】【トラブル】pulumi up --target をした際にエラー「snapshot integrity failure」が発生

■ はじめに pulumi up --target をした際に エラー「snapshot integrity failure」が発生して焦ったが どうにか解消できたので、メモ。 目次 【1】トラブル概要 1)似たようなトラブル:pulumi stack selectをした際にエラー 【2】エラー内容 【3】原因 …

【Snowflake】【トラブル】エラー「<Object> does not exist or not authorized」時の対応

■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の2ケースについて、あげておく。 目次 【1】例1:エラー「Table does not exist or not authorized」時の対応 1)トラブル概要 2)エラー内容 3)原因 4)解決案 【2】例2:…

【Snowflake】【トラブル】エラー「Insufficient privileges to operate」時の対応

■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【1】エラー内…

【トラブル】【AWS】クロスアカウントでのS3アクセスに関するトラブル

■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【0】教訓:S3バケットのアクセストラブルの勘所 【1】エラー「An error occured (403) when calling the HeadObject operation: Forbid…

【AWS】【トラブル】エラー「Invalid length for parameter SAMLMetadataDocument」が発生

■ はじめに AWS CLI実行で少しハマったのでメモ。 【1】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…

【AWS】【トラブル】CloudFormation でのトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 目次 【1】エラー「Service: Amazon S3; Status Code: 400・・・」発生 【2】エラー「Stack name must…

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…