郑州做网站最好的公司,双流区的规划建设局网站,网站多长时间到期,济南电视台在线直播1.0 Hadoop 教程
分类 Hadoop 教程 Hadoop 是一个开源的分布式计算和存储框架#xff0c;由 Apache 基金会开发和维护。
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持#xff0c;它允许使用简单的编程模型跨计算机群集分布式处理大型数据集#xf…1.0 Hadoop 教程
分类 Hadoop 教程 Hadoop 是一个开源的分布式计算和存储框架由 Apache 基金会开发和维护。
Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持它允许使用简单的编程模型跨计算机群集分布式处理大型数据集并且支持在单台计算机到几千台计算机之间进行扩展。
Hadoop 使用 Java 开发所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFSHDFS) 和 MapReduce。 Hadoop 历史
2003 年和 2004 年Google 公司先后发表了两篇著名的论文 GFS 和 MapReduce。
这两篇论文和 2006 年发表的 BigTable 成为了现在著名的Google 三大论文。
Doug Cutting 在受到了这些理论的影响后开始了 Hadoop 的开发。
Hadoop 包含了两大核心组件。在 Google 的论文中GFS 是一个在庞大的计算机集群中运行的分布式文件系统在 Hadoop 中 HDFS 实现了它的功能。MapReduce 是一个分布式计算的方式Hadoop 用同名称的 MapReduce 框架实现了它的功能。我们会在之后的 MapReduce 章节中详细介绍它。 从 2008 年开始Hadoop 作为 Apache 顶级项目存在。它与它的众多子项目广泛应用于包括 Yahoo、阿里巴巴、腾讯等大型网络服务企业并被 IBM、Intel、Microsoft 等平台公司列为支持对象。
Hadoop 的作用
Hadoop 的作用非常简单就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境并能为其他分布式应用服务提供平台支持。
也就是说 Hadoop 在某种程度上将多台计算机组织成了一台计算机做同一件事那么 HDFS 就相当于这台计算机的硬盘而 MapReduce 就是这台计算机的 CPU 控制器。
