做网站怎么每天更新内容,深圳互联网公司,网站建设的相关知识,建网站报价明细表一、环境要求
内存#xff1a;128G CPU#xff1a;32C 磁盘#xff1a;8T 注#xff1a;一个虚拟机不超过150G磁盘尽量不要执行这段代码
二、案例
1、需求
使用Sort程序评测MapReduce
2、操作步骤
1、使用RandomWriter来产生随机数#xff0c;每个节点运行10个Map任…一、环境要求
内存128G CPU32C 磁盘8T 注一个虚拟机不超过150G磁盘尽量不要执行这段代码
二、案例
1、需求
使用Sort程序评测MapReduce
2、操作步骤
1、使用RandomWriter来产生随机数每个节点运行10个Map任务每个Map产生大约1G大小的二进制随机数
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data2、执行Sort程序
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data3、验证数据是否真正排好序
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data3、结论
如果在上述服务器的配置下这个实验应该是在1分钟左右执行完毕。
