トラブル

【Pulumi】【トラブル】Pulumi に関するトラブル2

■ はじめに https://dk521123.hatenablog.com/entry/2022/09/27/165923 と同じようなエラーが発生したのだが、若干対応方法が変わったのと その後に別エラーメッセージが発生して、対応がかなり大変だったので 記事としてまとめておく。 # これで、多少はPul…

【Pulumi】【トラブル】pulumi up --target をした際にエラー「snapshot integrity failure」が発生

■ はじめに pulumi up --target をした際に エラー「snapshot integrity failure」が発生して焦ったが どうにか解消できたので、メモ。 目次 【1】トラブル概要 1)似たようなトラブル:pulumi stack selectをした際にエラー 【2】エラー内容 【3】原因 …

【Snowflake】【トラブル】エラー「<Object> does not exist or not authorized」時の対応

■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の2ケースについて、あげておく。 目次 【1】例1:エラー「Table does not exist or not authorized」時の対応 1)トラブル概要 2)エラー内容 3)原因 4)解決案 【2】例2:…

【Snowflake】【トラブル】エラー「Insufficient privileges to operate」時の対応

■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【1】エラー内…

【トラブル】【AWS】クロスアカウントでのS3アクセスに関するトラブル

■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【0】教訓:S3バケットのアクセストラブルの勘所 【1】エラー「An error occured (403) when calling the HeadObject operation: Forbid…

【AWS】【トラブル】エラー「Invalid length for parameter SAMLMetadataDocument」が発生

■ はじめに AWS CLI実行で少しハマったのでメモ。 【1】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…

【AWS】【トラブル】CloudFormation でのトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 目次 【1】エラー「Service: Amazon S3; Status Code: 400・・・」発生 【2】エラー「Stack name must…

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…

【Pulumi】【トラブル】pulumi up 時のトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/11/105319 の続き。 記事が溜まってきたので、 今回は、pulumi up (pulumi preview)実行時でのトラブルに絞って、 トラブルシュートを纏める 目次 【1】pulumi up 実行後、「error: the stack …

【トラブル】【AWS】AWS Glue Job で ConnectionTimeoutError が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/30/104237 で、AWS Glue から RDS接続した際に、 Timeoutエラーになったことについて触れたが、 今回は、RDS接続ではなく(っというかRDS使ってない) Timeoutエラーになったので、その際のトラブ…

【AWS】【トラブル】Amazon SNS に関するトラブル

■ はじめに Amazon SNS に関するトラブル を粛々とまとめるとする。 目次 【1】Publishしたところ、エラー「InvalidParameter: Subject」が表示 【1】Publishしたところ、エラー「InvalidParameter: Subject」が表示 boto3 API の「publish」をコールした…

【Pulumi】【トラブル】pulumi stack select xxx を実行後、「InvalidSignatureException」が表示

■ はじめに pulumi で、デプロイ中にエラーがあって Pulumi以外でヒントになって解決できたので、メモ。 目次 【1】概要 【2】エラー内容 【3】原因 【4】解決案 【1】概要 AWS環境に、自PC(Windows)内に入っているVirtualBoxのLinux(Ubuntu)から pulum…

【Pulumi】【トラブル】Pulumi に関するトラブル

■ はじめに Pulumi で 発生したトラブルについて 少しずつだが、まとめていく。 目次 【1】警告「A new version of Pulumi is available」が表示 【2】エラー「configured Kubernetes cluster is unreachable」が表示 【3】pulumi newを実行後、「error: …

【Snowflake】【トラブル】エラー「Failed to cast variant value "" to XXX」時の対応

■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 で少し触れているのだが、 エラー「Failed to cast variant value "" to TIMESTAMP_NTZ」などの 例外が発生したので、その際に行った対応策をメモしておく。 目次 【1】現象詳細 1)…

【トラブル】【AWS】boto3 AWS Glue API のトラブル ~ Connection編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/29/224525 で発生したトラブルについて、まとめる。 目次 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 …

【Airflow】【トラブル】Apache Airflow に関するトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で発生したトラブルを纏めておく。 目次 【1】Dockerによる環境設定でdocker-compose up後にエラー表示 【2】エラー「ModuleNotFoundError: No module named 'airflow.providers'」が…

【トラブル】【AWS】Hiveテーブルデータ を Redshift に移行時のCOPYコマンドエラー

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【1】COPYコマンド時にエラー「Forbidden: HTTP…

【トラブル】【AWS】Amazon EMR の クローン 時の トラブル

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 にEMRのトラブルを纏めていたが、 また違うトラブルが発生したので、メモしておく トラブルってゆーかー、そういう設定してるから起こったことだが。 目次 【1】EMR起動後にエラー「Eb…

【トラブル】pip install wheelファイル で Read time out が発生する

■ はじめに Amazon EMR(外部接続不可) に wheelファイルを pip install しようとした時に エラー「Read time out」が発生したので、その際の出来事をメモする 目次 【1】概要 【2】原因 補足:問題の切り分けに使ったコマンド「--no-deps」 【3】解決案…

【トラブル】【Hive】テーブルアクセス時に例外「Vertex failed, ... InvalidInputException」が発生する

■ はじめに 結果的には、以下のトラブルと同じような現象が発生したのだが、 色々と背景が異なるのでメモしておく。 EMR / DBアクセス に関するトラブルシューティング https://dk521123.hatenablog.com/entry/2021/06/17/114611 目次 【1】現象 【2】エラ…

【トラブル】Pandas で Excel を扱った際のトラブル

■ はじめに Pandas を扱う機会があって、Excel を扱った際に エラーが連チャンで発生したので、メモっておく。 目次 【1】エラー「Missing optional dependency 'xlrd'」が表示 【2】エラー「Excel xlsx file; not supported」が表示 【1】エラー「Missin…

【トラブル】【AWS】EMR / DBアクセス に関するトラブルシューティング

■ はじめに Amazon EMR 上で エラー「Error encountered near token 'TOK_TMP_FILE'」や エラー「NoRouteToHostException: No route to host」が発生した。 その際の調査方法や解決案などを記しておく。 目次 【1】発生現象 / エラー内容 1)Create table …

【トラブル】【Hive】エラー「SemanticException Cartesian products are disabled for safety reasons」が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/28/175428 https://dk521123.hatenablog.com/entry/2020/11/20/174039 の続き。 今回は、別環境で動いているHQLを実行したら エラーになった際のトラブルシュートをメモする。 目次 【1】概要 【…

【トラブル】AWS Glue上で saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生する

■ はじめに AWS Glue 上で RDD.saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生したので その際のトラブルシュートをメモする。 目次 【1】エラー内容 【2】発生したコード(一部) 【3】解決案 案1:DirectFileOutputCom…

【トラブル】AWS Glue上で エラー「Dynamic partition strict mode requires ...」が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2021/05/15/130604 を調査している際に、以下「参考サイト」で 『GlueのSparkバージョンが2.3.0になれば』って記載されていた。 で、以下のAWS Glue の公式サイト https://docs.aws.amazon.com/ja_jp/glue…

【トラブル】PySpark でエラー「Total size ... is bigger than spark.driver.maxResultSize」が発生する

■ はじめに 大きいファイルサイズのデータを扱った際に エラー「Total size ... is bigger than spark.driver.maxResultSize」 が発生したので、調べてみた。 => 凄く勉強になった、、、 なお、余談だが 大きいテキストファイルを扱った際の調査に、以下のコ…

【トラブル】PySpark 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 https://dk521123.hatenablog.com/entry/2019/11/14/221126 で、PySpark を構築した際に発生したトラブルを纏める 目次 【1】エラー「Py4JError: xxx does not exist in the JVM」が表…