广州网站开发外包公司,iis6.0建立网站,南宁网站建设速成培训班,网站注入木马在 Hadoop 生态系统中#xff0c;Hive 是一个重要的分支#xff0c;它构建在 Hadoop 之上#xff0c;提供了一个开源的数据仓库系统。它的主要功能是查询和分析存储在 Hadoop 文件中的大型数据集#xff0c;包括结构化和半结构化数据。Hive 在数据查询、分析和汇总方面发挥…在 Hadoop 生态系统中Hive 是一个重要的分支它构建在 Hadoop 之上提供了一个开源的数据仓库系统。它的主要功能是查询和分析存储在 Hadoop 文件中的大型数据集包括结构化和半结构化数据。Hive 在数据查询、分析和汇总方面发挥着关键作用同时也有助于提高开发人员的生产力。然而这种增加的生产力是以增加延迟和降低效率为代价的。
换句话说Hive 可以被看作是 SQL 的一种变体而且它确实是一种非常好的 SQL 变体。尽管如此与传统数据库中的 SQL 系统相比Hive 仍然有一定的差距。不过Hive 具有许多用户定义函数使得开发人员能够轻松为 UDF 做出贡献。
此外Hive 还可以与各种 Hadoop 包进行连接例如 RHive、RHipe甚至 Apache Mahout。这使得在处理复杂的分析处理和具有挑战性的数据格式时Hive 对开发人员社区非常有帮助。
更具体地说所谓的“数据仓库”是指用于报告和数据分析的系统。它包括了检查、清理、转换和建模数据等步骤旨在发现有用的信息并提出结论。
Hive架构
在下图中Hive 教程阐述了 Hive 架构及其组件 该组件图中有几个不同的单元。现在我们来描述一下每个单元
A. 用户界面 作为一个被广泛认知的数据仓库基础设施软件Hive 提供了多种用户界面以便用户与Hadoop分布式文件系统HDFS进行交互。这些界面包括了
Hive Web UI Hive 命令行 Hive HD Insight适用于 Windows 服务器 B. 元商店 Hive 使用元商店来存储表、数据库、表中的列、它们的数据类型以及它们在HDFS中的映射关系以此来维护模式或元数据。这需要选择相应的数据库服务器来支持。
C. HiveQL 流程引擎 HiveQLHive Query Language可以说是与传统的 SQL 类似主要用于查询 Metastore 上的架构信息。此外它也可以作为传统 MapReduce 程序的替代方案之一。开发人员可以使用 HiveQL 编写查询来处理 MapReduce 作业而不需要编写 Java 程序来实现 MapReduce。
D. 执行引擎 Hive 执行引擎是 HiveQL 流程引擎和 MapReduce 的结合部分。它负责处理查询并生成与 MapReduce 结果相同的结果。在处理过程中它还采用了 MapReduce 的风格。
E. 数据存储技术HDFS 或 HBase 在 Hive 中数据存储技术主要有两种选择即将数据存储到 Hadoop 分布式文件系统HDFS或者存储到 HBase。这两种技术提供了不同的数据存储解决方案用户可以根据具体需求进行选择。
**
Hive 是如何工作的
** 下图展示了Hive和Hadoop之间的工作流程——
让我们看看Hive与 Hadoop 框架的逐步工作流程 执行查询 首先用户通过 Hive 界面命令行或 Web UI将查询发送到 Driver即任何数据库驱动程序如 JDBC、ODBC 等来执行。 获取计划 随后驱动程序借助查询编译器解析查询检查语法和查询计划或要求。 获取元数据 编译器将元数据请求发送到 Metastore以获取与查询相关的元数据信息。 发送元数据 Metastore 将元数据作为响应发送给编译器。 发送计划 编译器检查需求并将计划重新发送给驱动程序。至此查询的解析和编译已经完成。 执行计划 驱动程序将执行计划发送给执行引擎。 执行作业 作业的执行过程内部是一个 MapReduce 作业。执行引擎将作业发送到名称节点中的 JobTracker并将该作业分配给数据节点中的 TaskTracker。此外查询在此阶段执行 MapReduce 作业。 元数据操作 在执行过程中执行引擎可以通过 Metastore 执行元数据操作。 获取结果 执行结束后执行引擎从数据节点接收结果。 发送结果 获取结果后执行引擎将这些结果值发送给驱动程序最终发送到 Hive 接口。
通过以上步骤我们可以清楚地了解 Hive 在 Hadoop 框架中的工作流程。
