手机网站设计只选亿企邦,seo优化与推广招聘,如何给网站做排名优化,做网站+利润1、什么是#xff08;数据#xff09;计算#xff1f; 2、分布式(数据)计算
#xff08;1#xff09;概念 顾名思义#xff0c;分布式计算#xff0c;即以分布式的形式完成数据的统计#xff0c;得到需要的结果。 分布式数据计算#xff0c;顾名思义#xff0c;就是…1、什么是数据计算 2、分布式(数据)计算
1概念 顾名思义分布式计算即以分布式的形式完成数据的统计得到需要的结果。 分布式数据计算顾名思义就是“以多取胜”如果一个问题使用一台计算机计算需要耗时1天那我们就是用几百个数据节点来计算。
2我们为什么要使用分布式计算 在计算和处理数据时我们为什么要使用分布式计算不能用“计算器”来计算吗
其实使用什么方式来处理数据并不是由我们决定的是由数据本身决定的。
3、分布式数据计算模式
1基础模式
~分散——汇总模式 将一个数据分配给许多服务器每一个服务器分配到一部分的数据当它们将数据处理完成将它们各自处理的数据结果向其中一台服务器进行汇报由该台服务器做归纳总结。生活中的人口普查就是一个典型的例子。
~中心调度——步骤执行模型 将一个数据分配给许多服务器每一个服务器分配到一部分的数据由一台服务器进行调度当该台服务器发出“第一阶段”的命令时各个节点的服务器开始第一阶段数据的计算在第一阶段数据计算完成后各个节点之间相互交换数据再开始第二阶段数据的计算在最后一个阶段数据计算完成后由主节点进行汇总结果。 注意 在第一阶段数据计算结束后各个节点之间需要交换数据才能进行下一阶段的计算。 相对于分散——汇总模式中心调度——步骤执行模式中间各个节点之间会进行交换数据各个节点负责的数据是动态的或者某个节点开启下一个阶段计算的要求是另一个阶段该阶段的计算数据。如工作中的项目经理与项目成员就是一个典型的例子。
2常见框架 hadoop系统中的MapReduce使用的就是分散——汇总框架但是大数据体系中的一些明星框架使用的多是中心调度——步骤执行模式如Apache SparkApache Flink使用的就是中心调度——步骤执行模式。
4、总结
