Hadoop

【Hadoop】Apache Hadoop ~ 設定プロパティ ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/09/19/152136 の続き。 今回は、Apache Hadoop に関する設定プロパティについて メモしておく。 目次 【1】mapreduce.{map|reduce} 1)mapreduce.{map|reduce}.memory.md 2)mapreduce.{map|reduc…

【トラブル】Hadoop / Hive 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 https://dk521123.hatenablog.com/entry/2020/01/01/000000 https://dk521123.hatenablog.com/entry/2020/01/02/000000 で発生した環境構築でのトラブルをメモしておく 目次 【1】エラ…

【Hadoop】Apache Hadoop ~ 環境設定 / Linux編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の Linux版。 目次 【0】設定環境 【1】Hadoop のインストール 1)Hadoopのダウンロード 2)Hadoopのインストール 3)環境変数の設定 4)環境変数の有効化 【2】Hadoop のデータ…

【Hadoop】Apache Hadoop ~ 環境設定 / Windows編 ~

■ はじめに Windows 上に Hive(ハイヴ)環境を作りたいのだが Hadoop が前提条件としてあるので、 まずは、Windows 上に Hadoop を入れてみる 注意点 現状(2019/12/27)、2点。 1)Hadoop v3.2.1 について Hadoop v3.2.1 は問題がある模様。 実際に「hdfs…

【Hadoop】Apache Hadoop ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/13/212325 の続き。 Apache Hadoop について調べてみた 目次 【0】動画 【1】Hadoop(ハドゥープ) 【2】Hadoopの基本構成 1)HDFS (Hadoop 分散ファイルシステム) 2)Hadoop MapReduce (分…

【分散処理】分散処理フレームワーク

■ はじめに 次のプロジェクトで、ビッグデータを扱う仕事になりそうで、 Hadoop とか Spark とか Hive とかってキーワードがでてきたので 足掛かりに「分散処理フレームワーク」を調べてみる ■ 分散処理 (Distributed Processing) とは? * 処理速度の向上と…