トラブル

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…

【Pulumi】【トラブル】pulumi up 時のトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/11/105319 の続き。 記事が溜まってきたので、 今回は、pulumi up 実行時でのトラブルに絞って、トラブルシュートを纏める 目次 【1】pulumi up 実行後、「error: the stack is currently locked…

【トラブル】【AWS】AWS Glue Job で ConnectionTimeoutError が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/30/104237 で、AWS Glue から RDS接続した際に、 Timeoutエラーになったことについて触れたが、 今回は、RDS接続ではなく(っというかRDS使ってない) Timeoutエラーになったので、その際のトラブ…

【AWS】【トラブル】Amazon SNS に関するトラブル

■ はじめに Amazon SNS に関するトラブル を粛々とまとめるとする。 目次 【1】Publishしたところ、エラー「InvalidParameter: Subject」が表示 【1】Publishしたところ、エラー「InvalidParameter: Subject」が表示 boto3 API の「publish」をコールした…

【Pulumi】【トラブル】pulumi stack select xxx を実行後、「InvalidSignatureException」が表示

■ はじめに pulumi で、デプロイ中にエラーがあって Pulumi以外でヒントになって解決できたので、メモ。 目次 【1】概要 【2】エラー内容 【3】原因 【4】解決案 【1】概要 AWS環境に、自PC(Windows)内に入っているVirtualBoxのLinux(Ubuntu)から pulum…

【Pulumi】【トラブル】Pulumi に関するトラブル

■ はじめに Pulumi で 発生したトラブルについて 少しずつだが、まとめていく。 目次 【1】警告「A new version of Pulumi is available」が表示 【2】エラー「configured Kubernetes cluster is unreachable」が表示 【3】pulumi newを実行後、「error: …

【Snowflake】【トラブル】エラー「Failed to cast variant value "" to XXX」時の対応

■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 で少し触れているのだが、 エラー「Failed to cast variant value "" to TIMESTAMP_NTZ」などの 例外が発生したので、その際に行った対応策をメモしておく。 目次 【1】現象詳細 1)…

【トラブル】【AWS】boto3 AWS Glue API のトラブル ~ Connection編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/29/224525 で発生したトラブルについて、まとめる。 目次 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 …

【Airflow】【トラブル】Apache Airflow に関するトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で発生したトラブルを纏めておく。 目次 【1】Dockerによる環境設定でdocker-compose up後にエラー表示 【2】エラー「ModuleNotFoundError: No module named 'airflow.providers'」が…

【トラブル】【AWS】Hiveテーブルデータ を Redshift に移行時のCOPYコマンドエラー

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【1】COPYコマンド時にエラー「Forbidden: HTTP…

【トラブル】【AWS】Amazon EMR の クローン 時の トラブル

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 にEMRのトラブルを纏めていたが、 また違うトラブルが発生したので、メモしておく トラブルってゆーかー、そういう設定してるから起こったことだが。 目次 【1】EMR起動後にエラー「Eb…

【トラブル】pip install wheelファイル で Read time out が発生する

■ はじめに Amazon EMR(外部接続不可) に wheelファイルを pip install しようとした時に エラー「Read time out」が発生したので、その際の出来事をメモする 目次 【1】概要 【2】原因 補足:問題の切り分けに使ったコマンド「--no-deps」 【3】解決案…

【トラブル】【Hive】テーブルアクセス時に例外「Vertex failed, ... InvalidInputException」が発生する

■ はじめに 結果的には、以下のトラブルと同じような現象が発生したのだが、 色々と背景が異なるのでメモしておく。 EMR / DBアクセス に関するトラブルシューティング https://dk521123.hatenablog.com/entry/2021/06/17/114611 目次 【1】現象 【2】エラ…

【トラブル】Pandas で Excel を扱った際のトラブル

■ はじめに Pandas を扱う機会があって、Excel を扱った際に エラーが連チャンで発生したので、メモっておく。 目次 【1】エラー「Missing optional dependency 'xlrd'」が表示 【2】エラー「Excel xlsx file; not supported」が表示 【1】エラー「Missin…

【トラブル】【AWS】EMR / DBアクセス に関するトラブルシューティング

■ はじめに Amazon EMR 上で エラー「Error encountered near token 'TOK_TMP_FILE'」や エラー「NoRouteToHostException: No route to host」が発生した。 その際の調査方法や解決案などを記しておく。 目次 【1】発生現象 / エラー内容 1)Create table …

【トラブル】【Hive】エラー「SemanticException Cartesian products are disabled for safety reasons」が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/28/175428 https://dk521123.hatenablog.com/entry/2020/11/20/174039 の続き。 今回は、別環境で動いているHQLを実行したら エラーになった際のトラブルシュートをメモする。 目次 【1】概要 【…

【トラブル】AWS Glue上で saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生する

■ はじめに AWS Glue 上で RDD.saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生したので その際のトラブルシュートをメモする。 目次 【1】エラー内容 【2】発生したコード(一部) 【3】解決案 案1:DirectFileOutputCom…

【トラブル】AWS Glue上で エラー「Dynamic partition strict mode requires ...」が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2021/05/15/130604 を調査している際に、以下「参考サイト」で 『GlueのSparkバージョンが2.3.0になれば』って記載されていた。 で、以下のAWS Glue の公式サイト https://docs.aws.amazon.com/ja_jp/glue…

【トラブル】PySpark でエラー「Total size ... is bigger than spark.driver.maxResultSize」が発生する

■ はじめに 大きいファイルサイズのデータを扱った際に エラー「Total size ... is bigger than spark.driver.maxResultSize」 が発生したので、調べてみた。 => 凄く勉強になった、、、 なお、余談だが 大きいテキストファイルを扱った際の調査に、以下のコ…

【トラブル】PySpark 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 https://dk521123.hatenablog.com/entry/2019/11/14/221126 で、PySpark を構築した際に発生したトラブルを纏める 目次 【1】エラー「Py4JError: xxx does not exist in the JVM」が表…

【トラブル】Pandas の環境設定でのトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 で、Pandas を動かそうとしたらエラーになったので その際のトラブルシューティングを記録しておく 目次 【1】エラー「ModuleNotFoundError: No module named 'pandas'」が表示 【2】…

【トラブル】【AWS】AWS Glue のトラブル ~ job編 - [3] ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 https://dk521123.hatenablog.com/entry/2020/10/12/152659 の続き。 新しくAWS Glue を作業していて、 新たにトラブルシューティングを行ったのでメモ。 後、過去記事を分冊して整理し…

【トラブル】PostgreSQLに関するトラブル ~ その3 ~

■ はじめに https://dk521123.hatenablog.com/entry/2015/04/07/001057 https://dk521123.hatenablog.com/entry/2015/04/27/000100 の続き。 目次 【1】エラー「cannot XXXXX in a read-only transaction」が表示 【1】エラー「cannot XXXXX in a read-onl…

【トラブル】Hadoop / Hive 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 https://dk521123.hatenablog.com/entry/2020/01/01/000000 https://dk521123.hatenablog.com/entry/2020/01/02/000000 で発生した環境構築でのトラブルをメモしておく 目次 【1】エラ…

【トラブル】【Vue】Vuetify に関するトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/26/000242 などで発生した Vuetify に関する トラブルシューティングについて、まとめる 目次 【1】「vue add vuetify」実行時の警告 【2】「npm run serve」実行時のエラー 【1】「vue add vu…

【トラブル】NightWatch に関するトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2021/02/06/220603 等で発生したNightWatch に関するトラブルについて、 まとめておく。 目次 【1】警告「WARN Local Chrome version is XX, but the installed chromedriver is for version YY」が表示 …

【トラブル】Office が起動できなくなった

■ はじめに Office (Excel/Word etc) が起動できなくなって 結構ハマったので、メモ。 ■ 現象 いつの間に(多分、Windowsアップデートして)か、 以下のような現象が発生した。 現象1 * Excel/Wordを起動しようしたら、 ショートカットエラーのダイアログが…