Hadoop
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 https://dk521123.hatenablog.com/entry/2022/05/01/000000 の続き。 今回は、MapReduce についてメモ。 目次 【１】MapReduce 【２】MapReduce の構成 １）Map(出力) ２）Shuffle(並べ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 HDFS があいまいだったので、こつこつまとめていく。 また、 https://dk521123.hatenablog.com/entry/2020/11/13/145545 でやった EMRFS の基礎になるので、勉強しておく。 目…
■ はじめに https://dk521123.hatenablog.com/entry/2020/09/19/152136 の続き。 今回は、Apache Hadoop に関する設定プロパティについて メモしておく。 目次 【１】mapreduce.{map|reduce} １）mapreduce.{map|reduce}.memory.md ２）mapreduce.{map|reduc…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 https://dk521123.hatenablog.com/entry/2020/01/01/000000 https://dk521123.hatenablog.com/entry/2020/01/02/000000 で発生した環境構築でのトラブルをメモしておく 目次 【１】エラ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/26/223506 の Linux版。 目次 【０】設定環境 【１】Hadoop のインストール １）Hadoopのダウンロード ２）Hadoopのインストール ３）環境変数の設定 ４）環境変数の有効化 【２】Hadoop のデータ…
■ はじめに Windows 上に Hive（ハイヴ）環境を作りたいのだが Hadoop が前提条件としてあるので、 まずは、Windows 上に Hadoop を入れてみる 注意点 現状（2019/12/27）、2点。 １）Hadoop v3.2.1 について Hadoop v3.2.1 は問題がある模様。 実際に「hdfs…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/13/212325 の続き。 Apache Hadoop について調べてみた 目次 【０】動画 【１】Hadoop（ハドゥープ） 【２】Hadoopの基本構成 １）HDFS (Hadoop 分散ファイルシステム) ２）Hadoop MapReduce (分…
■ はじめに 次のプロジェクトで、ビッグデータを扱う仕事になりそうで、 Hadoop とか Spark とか Hive とかってキーワードがでてきたので 足掛かりに「分散処理フレームワーク」を調べてみる 目次 【１】分散処理 (Distributed Processing) とは？ 【２】分…
