【Hadoop】Hadoop ～ 入門編 ～

Hadoop

■ はじめに

https://dk521123.hatenablog.com/entry/2019/09/13/212325

の続き。

Apache Hadoop について調べてみた

目次

【０】動画
【１】Hadoop（ハドゥープ）
【２】Hadoopの基本構成
　１）HDFS (Hadoop 分散ファイルシステム)
　２）Hadoop MapReduce (分散処理エンジン)  
　２’）Hadoop YARN

【０】動画

* Udacity（ユダシティ）の Freeコースがためになりそう。

Intro to Hadoop and MapReduce
https://www.udacity.com/course/intro-to-hadoop-and-mapreduce--ud617
Deploying a Hadoop Cluster
https://www.udacity.com/course/deploying-a-hadoop-cluster--ud1000
Big Data Analytics in Healthcare
https://www.udacity.com/course/big-data-analytics-in-healthcare--ud758
Machine Learning for Trading
https://www.udacity.com/course/machine-learning-for-trading--ud501

【１】Hadoop（ハドゥープ）

* 大量データを複数マシンで、
　分散して処理することができるオープンソース

プログラム言語 

* Java

対応OS 

* Linux

 【２】Hadoopの基本構成

Hadoopは、大きく分けて HDFS と MapReduce で構成されている。

１）HDFS (Hadoop 分散ファイルシステム)
２）Hadoop MapReduce (分散処理エンジン)

構成図
https://www.casleyconsulting.co.jp/blog/engineer/150/

+---------------+---------------------+
|  Hadoop       |  HBase              |
|   MapReduce   | (分散データベース)    |
+---------------+---------------------+
|               HDFS                  |
|   (Hadoop Distributed File System)  |
+-------------------------------------+

１）HDFS (Hadoop 分散ファイルシステム)

* 以下の関連記事を参照のこと

Apache Hadoop ～ 基本編 / HDFS ～
https://dk521123.hatenablog.com/entry/2022/05/01/000000

２）Hadoop MapReduce (分散処理エンジン)

* 以下の関連記事を参照のこと

Apache Hadoop ～ 基本編 / MapReduce ～
https://dk521123.hatenablog.com/entry/2022/05/02/000000

２’）Hadoop YARN

* YARN : Yet-Another-Resource-Negotiator (まだ-ほかの-リソース-公証人)
* Hadoop2系
* 分散処理フレームワークHadoop MapReduceの仕組みが変更となり、
　分散リソース制御機構 Hadoop YARNとMapReduce ApplicationMasterの2つに分離

https://qiita.com/keigodasu/items/09f7e0a15d721b0b5212

  参考文献

http://www.atmarkit.co.jp/ait/articles/1106/21/news117.html
https://www.atmarkit.co.jp/ait/articles/1701/01/news013.html
http://www.atmarkit.co.jp/ait/articles/0807/08/news119.html
 https://blogs.itmedia.co.jp/itsolutionjuku/2015/06/hadoop.html
http://www.hitachi.co.jp/products/it/bigdata/column/column04.html

 関連記事

Hadoop ～ 環境設定 / Linux編 ～
https://dk521123.hatenablog.com/entry/2020/01/01/000000
Hadoop ～ 基本編 / HDFS ～
https://dk521123.hatenablog.com/entry/2022/05/01/000000
Hadoop ～ 基本編 / MapReduce ～
https://dk521123.hatenablog.com/entry/2022/05/02/000000
Hadoop ～ 設定プロパティ ～
https://dk521123.hatenablog.com/entry/2021/06/23/151148
Hive / HiveQL ～ 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2019/11/25/235219
分散処理フレームワーク
https://dk521123.hatenablog.com/entry/2019/09/13/212325
Apache Spark ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2019/09/14/123206