1、hadoop1.0階段架構(gòu)

2、hadoop2.0階段架構(gòu)

3、hdfs架構(gòu)

Active Namenode
主 Master(只有一個(gè))，管理 HDFS 名稱空間，管理數(shù)據(jù)塊投影信息；配備復(fù)制策略；處理客戶端讀寫請(qǐng)求

Secondary NameNode

NameNode 熱備；定期合并 fsimage 和 fsedits，推送到 NameNode；當(dāng) Active NameNode 當(dāng)出現(xiàn)故障時(shí)，迅速切換到新的。 Active NameNode。

Datanode

Slave（有多個(gè)）；存儲(chǔ)實(shí)際數(shù)據(jù)塊；執(zhí)行數(shù)據(jù)塊閱讀 / 寫

Client

與 NameNode 互動(dòng)，獲取文件定位信息； DataNode 互動(dòng)，讀取或?qū)懭霐?shù)據(jù)；管理； HDFS、瀏覽 HDFS。

4、MapReduce
來(lái)源于 Google 的 MapReduce 論文
發(fā)表于 2004 年 12 月
Hadoop MapReduce 是 Google MapReduce 克隆版
特點(diǎn)是MapReduce
擴(kuò)展性好
高容錯(cuò)性
適合 PB 離線處理等級(jí)以上海量數(shù)據(jù)

5、yarn架構(gòu)

6、hadoop1.與hadoop2.0對(duì)比圖

7、Hive(基于MR的數(shù)據(jù)倉(cāng)庫(kù))
最初用于海量結(jié)構(gòu)化日志數(shù)據(jù)分析，由Facebook開(kāi)源；ETL（Extraction-Transformation-Loading）在Hadoop上構(gòu)建工具的數(shù)據(jù)倉(cāng)庫(kù)；使用數(shù)據(jù)計(jì)算； MapReduce，HDFS用于數(shù)據(jù)存儲(chǔ)。
Hive 定義一種類型 SQL 查詢語(yǔ)言——HQL
和SQL差不多，但是不一樣。
通常用于離線數(shù)據(jù)處理(選擇 MapReduce）；可以認(rèn)為是一個(gè) HQL→MR 語(yǔ)言翻譯器

8、Hbase(分布式數(shù)據(jù)庫(kù))
源自 Google 的 Bigtable 論文
發(fā)表于 2006 年 11 月
Hbase 是 Google Bigtable 克隆版

9、Hadoop 發(fā)行版(開(kāi)源版)

0 踩

1、hadoop1.0階段架構(gòu)

2、hadoop2.0階段架構(gòu)

3、hdfs架構(gòu)

Active Namenode
主 Master(只有一個(gè))，管理 HDFS 名稱空間，管理數(shù)據(jù)塊投影信息；配備復(fù)制策略；處理客戶端讀寫請(qǐng)求

Secondary NameNode

NameNode 熱備；定期合并 fsimage 和 fsedits，推送到 NameNode；當(dāng) Active NameNode 當(dāng)出現(xiàn)故障時(shí)，迅速切換到新的。 Active NameNode。

Datanode

Slave（有多個(gè)）；存儲(chǔ)實(shí)際數(shù)據(jù)塊；執(zhí)行數(shù)據(jù)塊閱讀 / 寫

Client

與 NameNode 互動(dòng)，獲取文件定位信息； DataNode 互動(dòng)，讀取或?qū)懭霐?shù)據(jù)；管理； HDFS、瀏覽 HDFS。

4、MapReduce
來(lái)源于 Google 的 MapReduce 論文
發(fā)表于 2004 年 12 月
Hadoop MapReduce 是 Google MapReduce 克隆版
特點(diǎn)是MapReduce
擴(kuò)展性好
高容錯(cuò)性
適合 PB 離線處理等級(jí)以上海量數(shù)據(jù)

5、yarn架構(gòu)

6、hadoop1.與hadoop2.0對(duì)比圖

7、Hive(基于MR的數(shù)據(jù)倉(cāng)庫(kù))
最初用于海量結(jié)構(gòu)化日志數(shù)據(jù)分析，由Facebook開(kāi)源；ETL（Extraction-Transformation-Loading）在Hadoop上構(gòu)建工具的數(shù)據(jù)倉(cāng)庫(kù)；使用數(shù)據(jù)計(jì)算； MapReduce，HDFS用于數(shù)據(jù)存儲(chǔ)。
Hive 定義一種類型 SQL 查詢語(yǔ)言——HQL
和SQL差不多，但是不一樣。
通常用于離線數(shù)據(jù)處理(選擇 MapReduce）；可以認(rèn)為是一個(gè) HQL→MR 語(yǔ)言翻譯器

8、Hbase(分布式數(shù)據(jù)庫(kù))
源自 Google 的 Bigtable 論文
發(fā)表于 2006 年 11 月
Hbase 是 Google Bigtable 克隆版

9、Hadoop 發(fā)行版(開(kāi)源版)