宝塔建站网址,电商平台运营费用预算,wordpress 写博客插件,wordpress简历页大数据学习
#x1f525;系列专栏#xff1a; #x1f451;哲学语录: 承认自己的无知#xff0c;乃是开启智慧的大门 #x1f496;如果觉得博主的文章还不错的话#xff0c;请点赞#x1f44d;收藏⭐️留言#x1f4dd;支持一下博主哦#x1f91…大数据学习
系列专栏 哲学语录: 承认自己的无知乃是开启智慧的大门 如果觉得博主的文章还不错的话请点赞收藏⭐️留言支持一下博主哦 在MapReduce中Map阶段和Reduce阶段分别执行以下任务
Map阶段Map阶段的任务是处理输入数据并生成一系列的键值对key/value pairs。Map函数会对每个输入数据执行操作并将结果写入到一个本地磁盘上的临时文件中。Map阶段的任务是在每个单独的Map任务中完成的这些Map任务是在Map阶段启动的。
在Hadoop MapReduce中Map阶段的任务如下
从HDFS中的文件读取数据。将数据拆分成键值对。对每个键值对执行Map函数生成新的键值对。将生成的键值对写入到本地磁盘上。
Reduce阶段Reduce阶段的任务是处理Map阶段生成的键值对并生成最终的输出结果。Reduce函数会对每个键执行操作并将结果写入到最终的输出文件中。Reduce阶段的任务是在每个单独的Reduce任务中完成的这些Reduce任务是在Reduce阶段启动的。
在Hadoop MapReduce中Reduce阶段的任务如下
从本地磁盘上读取Map阶段的输出数据。将数据合并成一个大文件。对合并后的数据进行排序。对排序后的键值对执行Reduce函数。将输出的键值对写入到HDFS文件中。
在Hive中当我们需要进行分组聚合操作时通常会使用MapReduce框架来处理大规模的数据。传统的方法是在Map阶段将数据按照分组字段进行分区然后将结果发送到Reduce阶段进行聚合运算。这种方法需要在Reduce阶段处理所有分组的 数据因此当数据量很大时Reduce阶段可能会成为瓶颈。
为了解决这个问题Hive引入了map-side聚合的优化方法。在map-side聚合中我们在Map阶段不仅仅只是将数据按照分组字段进行分区而是利用一个hash table来维护每个分组的数据。在遍历数据的过程中我们会对每个分组的数据进行部分的聚合运算然后将聚合的结果存储在hash table中。
接下来我们将聚合的结果按照分组字段进行分区并将每个分区的结果发送到Reduce阶段。在Reduce阶段我们只需要对每个分组的数据进行最终的聚合运算这样就可以大大减少需要处理的数据量。因此这种方法可以有效减少shuffle的数据量提高分组聚合运算的效率。
启用map-side聚合的方法是设置hive.map.aggrtrue参数。此外还可以通过设置hive.map.aggr.hash.min.reduction参数来检测源表数据是否适合进行map-side聚合。这个参数用于指定当源表数据中具有相同分组字段值的行数小于某个阈值时才适合使用map-side聚合。
