トラブル

【トラブル】【AWS】Hiveテーブルデータ を Redshift に移行時のCOPYコマンドエラー

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【1】COPYコマンド時にエラー「Forbidden: HTTP…

【トラブル】【AWS】Amazon EMR の クローン 時の トラブル

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 にEMRのトラブルを纏めていたが、 また違うトラブルが発生したので、メモしておく トラブルってゆーかー、そういう設定してるから起こったことだが。 目次 【1】EMR起動後にエラー「Eb…

【トラブル】pip install wheelファイル で Read time out が発生する

■ はじめに Amazon EMR(外部接続不可) に wheelファイルを pip install しようとした時に エラー「Read time out」が発生したので、その際の出来事をメモする 目次 【1】概要 【2】原因 補足:問題の切り分けに使ったコマンド「--no-deps」 【3】解決案…

【トラブル】【Hive】テーブルアクセス時に例外「Vertex failed, ... InvalidInputException」が発生する

■ はじめに 結果的には、以下のトラブルと同じような現象が発生したのだが、 色々と背景が異なるのでメモしておく。 EMR / DBアクセス に関するトラブルシューティング https://dk521123.hatenablog.com/entry/2021/06/17/114611 目次 【1】現象 【2】エラ…

【トラブル】Pandas で Excel を扱った際のトラブル

■ はじめに Pandas を扱う機会があって、Excel を扱った際に エラーが連チャンで発生したので、メモっておく。 目次 【1】エラー「Missing optional dependency 'xlrd'」が表示 【2】エラー「Excel xlsx file; not supported」が表示 【1】エラー「Missin…

【トラブル】【AWS】EMR / DBアクセス に関するトラブルシューティング

■ はじめに Amazon EMR 上で エラー「Error encountered near token 'TOK_TMP_FILE'」や エラー「NoRouteToHostException: No route to host」が発生した。 その際の調査方法や解決案などを記しておく。 目次 【1】発生現象 / エラー内容 1)Create table …

【トラブル】【Hive】エラー「SemanticException Cartesian products are disabled for safety reasons」が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/28/175428 https://dk521123.hatenablog.com/entry/2020/11/20/174039 の続き。 今回は、別環境で動いているHQLを実行したら エラーになった際のトラブルシュートをメモする。 目次 【1】概要 【…

【トラブル】AWS Glue上で saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生する

■ はじめに AWS Glue 上で RDD.saveAsTextFile() を使ったら エラー「DirectOutputCommitter not found」が発生したので その際のトラブルシュートをメモする。 目次 【1】エラー内容 【2】発生したコード(一部) 【3】解決案 案1:DirectFileOutputCom…

【トラブル】AWS Glue上で エラー「Dynamic partition strict mode requires ...」が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2021/05/15/130604 を調査している際に、以下「参考サイト」で 『GlueのSparkバージョンが2.3.0になれば』って記載されていた。 で、以下のAWS Glue の公式サイト https://docs.aws.amazon.com/ja_jp/glue…

【トラブル】PySpark でエラー「Total size ... is bigger than spark.driver.maxResultSize」が発生する

■ はじめに 大きいファイルサイズのデータを扱った際に エラー「Total size ... is bigger than spark.driver.maxResultSize」 が発生したので、調べてみた。 => 凄く勉強になった、、、 なお、余談だが 大きいテキストファイルを扱った際の調査に、以下のコ…

【トラブル】PySpark 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 https://dk521123.hatenablog.com/entry/2019/11/14/221126 で、PySpark を構築した際に発生したトラブルを纏める 目次 【1】エラー「Py4JError: xxx does not exist in the JVM」が表…

【トラブル】Pandas の環境設定でのトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/22/014957 で、Pandas を動かそうとしたらエラーになったので その際のトラブルシューティングを記録しておく 目次 【1】エラー「ModuleNotFoundError: No module named 'pandas'」が表示 【2】…

【トラブル】【AWS】AWS Glue のトラブル ~ job編 - [3] ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 https://dk521123.hatenablog.com/entry/2020/10/12/152659 の続き。 新しくAWS Glue を作業していて、新たにトラブルシューティングを行ったのでメモ。 後、過去記事を分冊して整理し…

【トラブル】PostgreSQLに関するトラブル ~ その3 ~

■ はじめに https://dk521123.hatenablog.com/entry/2015/04/07/001057 https://dk521123.hatenablog.com/entry/2015/04/27/000100 の続き。 目次 【1】エラー「cannot XXXXX in a read-only transaction」が表示 【1】エラー「cannot XXXXX in a read-onl…

【トラブル】Hadoop / Hive 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 https://dk521123.hatenablog.com/entry/2020/01/01/000000 https://dk521123.hatenablog.com/entry/2020/01/02/000000 で発生した環境構築でのトラブルをメモしておく 目次 【1】エラ…

【トラブル】【Vue】Vuetify に関するトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/26/000242 などで発生した Vuetify に関する トラブルシューティングについて、まとめる 目次 【1】「vue add vuetify」実行時の警告 【2】「npm run serve」実行時のエラー 【1】「vue add vu…

【トラブル】NightWatch に関するトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2021/02/06/220603 等で発生したNightWatch に関するトラブルについて、 まとめておく。 目次 【1】警告「WARN Local Chrome version is XX, but the installed chromedriver is for version YY」が表示 …

【トラブル】Office が起動できなくなった

■ はじめに Office (Excel/Word etc) が起動できなくなって 結構ハマったので、メモ。 ■ 現象 いつの間に(多分、Windowsアップデートして)か、 以下のような現象が発生した。 現象1 * Excel/Wordを起動しようしたら、 ショートカットエラーのダイアログが…

【トラブル】Windows / Docker Desktop でのトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/12/08/165505 https://dk521123.hatenablog.com/entry/2020/12/10/094125 で、Windows内にDocker環境を設定する際に、 Docker Desktop をインストールした。 その後のトラブルについて、まとめる 目…

【トラブル】【Hive】Hive に関するトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/28/175428 の続き。 Hiveで発生したトラブルをまとめる。 目次 【1】エラー「Cannot inspect org.apache.hadoop.io.IntWritable」が発生する 【2】エラー「java.lang.NoClassDefFoundError: sca…

【トラブル】【AWS】boto3 AWS Glue API のトラブル ~ trigger全般 編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/16/205331 が長くなり、別ケースの例外メッセージもあったので分冊。 今回は、boto3 AWS Glue API の trigger全般 のトラブルを纏める 目次 【1】create_trigger() コール時に例外が発生する 【…

【トラブル】【AWS】AWS Glue のトラブル ~ job編 - [2] ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/25/232155 の続き。 AWS Glue の Job に関するトラブルシューティングが 長くなってしまったので、分冊する。 目次 【1】エラー「At least one security group must open all ingress ports」が…

【トラブル】【AWS】Amazon EMR に関するトラブル

■ はじめに EMRで起こったトラブルを纏める。 目次 【1】エラー「GlueJobRunnerSession is not authorized to perform」が表示 【2】エラー「Terminated with errors Bootstrap failure」が表示 【3】エラー「IOException: (in directory "."): error=2, …

【トラブル】【Android】Android でのトラブル その1

■ はじめに Android でのトラブル を徐々にまとめる 目次 【1】「X app (Error: Default Activity Not Found)」が表示 【1】「X app (Error: Default Activity Not Found)」が表示 Android Studio で気が付いたら、「X app」(X:×アイコン)が表示されて …

【トラブル】【Android】Realm に関するトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2018/09/01/213649 https://dk521123.hatenablog.com/entry/2018/09/02/130212 https://dk521123.hatenablog.com/entry/2020/07/20/232009 などで扱った Realm に関するトラブルシューティングに関して ま…

【トラブル】【PySpark】PySpark でエラー「Exception: It appears ...」が表示された

■ 現象 https://dk521123.hatenablog.com/entry/2020/07/09/000832 の機能を、クラス内部に組み込んだ際(詳細は後述の「修正後」を参照)に 以下「■ エラーメッセージ」が表示された ■ エラーメッセージ Exception: It appears that you are attempting to …

【トラブル】【Python】Python の環境設定周りのトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/24/000000 などで、Pythonの環境設定した際に起こったトラブルについて 解決案などを少しづつまとめていく 目次 【1】anaconda でPythonのダウングレードしようとした際にエラー「Solving enviro…

【トラブル】【Python】Pythonでの文字コード関連のトラブルシューティング

■ はじめに Python で 文字コード関連のエラーを纏めておく。 目次 【1】デコード時にエラー「UnicodeDecodeError」で落ちる 【1】デコード時にエラー「UnicodeDecodeError」で落ちる 以下のコードから例外エラー「UnicodeDecodeError」で落ちる コード一…

【トラブル】【Hive】Hive / Partition に関するトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/27/175610 などで、でてきたトラブルを纏める 目次 【1】エラー「Column repeated in partitioning columns」が発生する 【2】エラー「Need to specify partition columns」が表示 ※ その他のHi…

【トラブル】【AWS】Amazon ECR でのトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2020/05/23/080655 で起こったトラブルシューティングを纏める。 目次 【1】エラー…