? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 王家林的Hadoop官方博客

家林会带您在10分钟内理解云计算分布式大数据处理框架Hadoop并开始动手实践，倒计时开始……

更多Hadoop交流可以联系家林：

新浪微博:http://weibo.com/ilovepains

QQ：1740415547

QQ群：312494188

Weixin：wangjialinandroid

官方博客： http://www.cnblogs.com/guoshiandroid/

?

第1分钟：

?????Hadoop要解决的问题是什么？

?????答：Hadoop核心要解决长期IT界乃至人类社会的两大主题：

　　1， 海量数据的存储：传统的存储方式昂贵而且日益难以满足核裂变级别数据的增长，例如纽约证券交易所每天要产生T级别的数据量，Facebook要每天要服务过亿的用户（其中图片等数据`量是惊人的），如何使用廉价的设备支持无线增长的数据的安全高效的存储，Hadoop提出了解决方案，即HDFS.

　　2， 海量数据的分析：如何有效而快速的从海量数据中提取出有价值的信息，Hadoop给出了解决方案，即MapReduce.

HDFS和MapReduce是Hadoop整个项目的基础和核心，Hadoop庞大的家族中的其它子项目都是基于HDFS和MapReduce，所以掌握HDFS和MapReduce也就掌握了Hadoop的核心。

第2分钟：

?????Hadoop的来源和发展历史是什么？

?????答：始于2002年Apache搜索引擎项目Nutch，2004年Nutch的开发者基于Google发表的著名的GFS论文开发出了开源版本的GFS即NDFS，2005年基于Google发表的著名的MapReduce论文把MapReduce引入NDFS，2006年改名为Hadoop，NDFS的创始人加入Yahoo，同时Yahoo成立专门的小组发展Hadoop。

?????可以看出，在来4源gaodaimacom搞#代%码*网Hadoop的发展过程中，除了其创始人外，Google和Yahoo居功至伟。

第3分钟：

?????Hadoop到底是什么？

????? 答：Hadoop是基于廉价设备利用集群的威力对海量数据进行安全存储和高效计算的分布式存储和分析框架，Hadoop本身是一个庞大的项目家族，其核心家族或者底层是HDFS和MapReduce，HDFS和MapReduce分别用来实现对海量数据的存储和分析，其它的项目，例如Hive、HBase等都是基于HDFS和MapReduce，是为了解决特定类型的大数据处理问题而提出的子项目，使用Hive、HBase等子项目可以在更高的抽象的基础上更简单的编写分布式大数据处理程序。Hadoop的其它子项目还包括 Common, Avro, Pig, ZooKeeper, Sqoop, Oozie?等，随着时间的推移一些新的子项目会被加入进来，一些关注度不高的项目会被移除Hadoop家族，所以Hadoop是一个充满活力的系统。

第4分钟：

?????什么问题场景下适合使用HDFS？什么场景下不适合采用HDFS？

?????答：

适合使用Hadoop的场景：非常大的文件，包括单个文件非常大（例如超过100G大小的文件）和文件总大小非常大（例如达到P级别），即支持海量的数据；“write-once,read-many-times”的Streaming的文件访问方式；普通的硬件系统支持大数据的处理；

不适用Hadoop的场景：低延迟的数据访问；有很多细小文件的系统；要多次写入和修改的文件系统；

?

第5分钟：

?????如何解读HDFS架构图？

?????答：架构图如下：

原文地址：王家林“云计算分布式大数据Hadoop实战高手之路—从零开始”的第一讲Hadoop图文训练课程：, 感谢原作者分享。

喜欢 (0)赏

[搞代码]

分享 (0)