Hadoop

【Hadoop】Hadoop ~ 基本編 / MapReduce ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 https://dk521123.hatenablog.com/entry/2022/05/01/000000 の続き。 今回は、MapReduce についてメモ。 目次 【1】MapReduce 【2】MapReduce の構成 1)Map(出力) 2)Shuffle(並べ…

【Hadoop】Hadoop ~ 基本編 / HDFS ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 HDFS があいまいだったので、こつこつまとめていく。 また、 https://dk521123.hatenablog.com/entry/2020/11/13/145545 でやった EMRFS の基礎になるので、勉強しておく。 目…

【Hadoop】Hadoop ~ 設定プロパティ ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/09/19/152136 の続き。 今回は、Apache Hadoop に関する設定プロパティについて メモしておく。 目次 【1】mapreduce.{map|reduce} 1)mapreduce.{map|reduce}.memory.md 2)mapreduce.{map|reduc…

【トラブル】Hadoop / Hive 環境構築時のトラブルシューティング

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 https://dk521123.hatenablog.com/entry/2020/01/01/000000 https://dk521123.hatenablog.com/entry/2020/01/02/000000 で発生した環境構築でのトラブルをメモしておく 目次 【1】エラ…

【Hadoop】Hadoop ~ 環境設定 / Linux編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の Linux版。 目次 【0】設定環境 【1】Hadoop のインストール 1)Hadoopのダウンロード 2)Hadoopのインストール 3)環境変数の設定 4)環境変数の有効化 【2】Hadoop のデータ…

【Hadoop】Hadoop ~ 環境設定 / Windows編 ~

■ はじめに Windows 上に Hive(ハイヴ)環境を作りたいのだが Hadoop が前提条件としてあるので、 まずは、Windows 上に Hadoop を入れてみる 注意点 現状(2019/12/27)、2点。 1)Hadoop v3.2.1 について Hadoop v3.2.1 は問題がある模様。 実際に「hdfs…

【Hadoop】Hadoop ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/13/212325 の続き。 Apache Hadoop について調べてみた 目次 【0】動画 【1】Hadoop(ハドゥープ) 【2】Hadoopの基本構成 1)HDFS (Hadoop 分散ファイルシステム) 2)Hadoop MapReduce (分…

【分散処理】分散処理フレームワーク

■ はじめに 次のプロジェクトで、ビッグデータを扱う仕事になりそうで、 Hadoop とか Spark とか Hive とかってキーワードがでてきたので 足掛かりに「分散処理フレームワーク」を調べてみる 目次 【1】分散処理 (Distributed Processing) とは? 【2】分…