北京招聘网站设计师,品牌高端网站,黑五类广告推广,河南郑州网站关键词排名助手大数据学习
#x1f525;系列专栏#xff1a; #x1f451;哲学语录: 承认自己的无知#xff0c;乃是开启智慧的大门 #x1f496;如果觉得博主的文章还不错的话#xff0c;请点赞#x1f44d;收藏⭐️留言#x1f4dd;支持一下博主哦#x1f91…
大数据学习
系列专栏 哲学语录: 承认自己的无知乃是开启智慧的大门 如果觉得博主的文章还不错的话请点赞收藏⭐️留言支持一下博主哦 当客户端提交SQL作业到HiveServer2时HiveServer2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。每个执行计划对应若干MapReduce作业Hive会将所有的MapReduce作业都提交到YARN中。YARN负责创建MapReduce作业对应的子任务并协调它们的运行。YARN创建的子任务会与HDFS进行交互获取计算所需的数据计算完成后将最终的结果写入HDFS或者本地。
1.YARN
YARN作为资源管理和作业调度框架能够动态调整资源分配确保集群中的资源得到充分利用。这有助于提高Hive作业的执行效率因为Hive可以依赖YARN来管理资源并调度作业从而避免资源争抢和浪费。
2.HIVE
YARN支持运行各种类型的分布式应用程序包括Hive的MapReduce作业。这使得Hive能够与其他大数据处理框架和应用程序高效运行在同一集群中共同利用YARN提供的资源管理功能。
Hive和YARN在Hadoop生态系统中扮演着不同的角色但相互协作。Hive作为数据仓库工具提供了丰富的SQL查询功能而YARN作为资源管理和作业调度框架则确保了Hive作业能够高效、可靠地执行。
