2021-06-01から1ヶ月間の記事一覧
■ はじめに Hiveで実行した際に、コメント文でエラーになった。 詳細は、以下の「【３】補足：コメント文に関するトラブルについて」で扱うが その際に色々と調べたので、記録しておく。 目次 【１】Hive のコメント文 【２】使用上の注意 １）コメント「/＊…
■ はじめに hive の変数 hiveconf について扱ったのでまとめておく。 目次 【０】公式ドキュメント 【１】Hiveの変数の種類 １）hivevar ２）hiveconf ３）env ４）system 【２】指定の仕方 １）コマンドラインからの指定 ２）ファイル内での指定 【３】デバ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/09/19/152136 の続き。 今回は、Apache Hadoop に関する設定プロパティについて メモしておく。 目次 【１】mapreduce.{map|reduce} １）mapreduce.{map|reduce}.memory.md ２）mapreduce.{map|reduc…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/10/224640 https://dk521123.hatenablog.com/entry/2021/06/18/184713 https://dk521123.hatenablog.com/entry/2021/06/21/231033 の続き。 COALESCEを使っている処理があったので、 COALESCE や …
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/10/224640 https://dk521123.hatenablog.com/entry/2021/06/18/184713 の続き。 今回は、文字列操作する際の関数群をまとめておく。 目次 【０】API仕様 【１】lower() / lcase() 【２】upper() /…
■ はじめに https://dk521123.hatenablog.com/entry/2021/06/18/184713 で、CASE文を使った際に、 構文エラーになった (ただ単に「end」が抜けていた) ので hive の CASE文について、整理しておく。 目次 【１】CASE文 - CASE statements 【２】構文 １）単…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/10/224640 の続き。 長いHQLを実行した際にエラーになったので、 その長いHQLのサブクエリを単独で実行してどこに原因があるかを 調査していた。 その際、regexp_replace を使っていたので、メモ…
■ はじめに Amazon EMR 上で エラー「Error encountered near token 'TOK_TMP_FILE'」や エラー「NoRouteToHostException: No route to host」が発生した。 その際の調査方法や解決案などを記しておく。 目次 【１】発生現象 / エラー内容 １）Create table …
■ はじめに https://dk521123.hatenablog.com/entry/2021/06/12/093046 に関して、細かく調査したら、JOIN の ON がないので、 交差結合（CROSS JOIN, Cartesian product）になり エラーが起きてたのが分かった。 そこで、今回は JOIN文について、改めて纏め…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/28/175428 https://dk521123.hatenablog.com/entry/2020/11/20/174039 の続き。 今回は、別環境で動いているHQLを実行したら エラーになった際のトラブルシュートをメモする。 目次 【１】概要 【…
■ はじめに https://dk521123.hatenablog.com/entry/2021/06/09/113458 の続き。 今回は、Glue で使用するテーブル情報取得および作成について扱う。 （本当は、テーブル操作までにするつもりだったが） 「【２】テーブル作成」の際に「EntityNotFoundExcept…
■ はじめに https://dk521123.hatenablog.com/entry/2021/05/28/142153 のAWS Management Console画面において、 パーティションを個別で削除しようと思ったが、 画面からは削除できなかったため、 代わりに、Boto3のAPIを使って、削除した。 （ちなみに、パ…
■ はじめに Amazon EventBridge に関して扱うかもしれないので どんなサービスなのかを調べてみた。 目次 【１】EventBridge とは？ 【２】EventBridge の 利点 【３】Amazon Cloud Watch Eventsとの違い 【４】AWS サービスからのイベント 【１】EventBridg…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 の続き。 Python は使いやすい言語だと思うが、いけていない点がある。 今回は、その中の一部で「先頭・末尾の文字列除去」について扱う （例えば、http://xxxx/xxxxって際に「xxxx/xxx…
■ はじめに https://dk521123.hatenablog.com/entry/2017/04/28/234103 の続き。 AWS EMRで失敗した際のイベント通知方法を調べていたら、 以下のサイトが見つかり、そこに 「Amazon Simple Notification Service (Amazon SNS)」と あったので、どんなサービ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/04/29/075903 の続き。 今回は、Null および 空文字 について、扱う。 調べてみると、読み込み時において、 それ以外の異常値（e.g. non-number）についても 指定できるらしいので、それらについても…
