网站建设制度制定情况,dw软件怎么下载,淘宝怎么建立自己的网站,wordpress外贸源码1. InputFormat
InputFormat是MapReduce框架提供的用来处理job输入的基类 它主要定义了三个功能#xff1a; 1.验证job输入是否合法 2.对输入文件进行逻辑切片(InputSplit)#xff0c;然后将每个切片分发给单独的MapTask 3.提供切片读取器(Re…1. InputFormat
InputFormat是MapReduce框架提供的用来处理job输入的基类 它主要定义了三个功能 1.验证job输入是否合法 2.对输入文件进行逻辑切片(InputSplit)然后将每个切片分发给单独的MapTask 3.提供切片读取器(RecordReader),用来读取切片中的数据
InputFormat作为抽象父类只是定义了核心方法根据具体的数据源类型和切片规则 MapReduce框架提供了很多功能子类
核心子类 DBInputFormat将数据库中的数据作为MR程序的输入数据 FileInputFormat将hdfs或本地文件作为MR程序的输入数据 源码阅读
package org.apache.hadoop.mapred;// InputFormat对象
public abstract class InputFormatK, V {TODO:1.将Mr程序输入的文件进行逻辑切分并返回切片对象集合注意1.这里的分割是逻辑分割不是物理分割哦public abstract ListInputSplit getSplits(JobContext context) throws IOException, InterruptedException;TODO:1.为指定的切片对象创建记录阅读器
public abstract RecordReaderK,V createRecordReader(InputSplit split,TaskAttemptContext context) throws IOException, InterruptedException;
}// 切片对象
public class FileSplit extends InputSplit implements Writable {// 该切片 所属文件的路径private Path file;// 切片起始位置(文件偏移量)private long start;// 切片长度private long length;// 存储切片的hostsprivate String[] hosts;private SplitLocationInfo[] hostInfos;
}2. FileInputFormat
FileInputFormat是当MR程序为hdfs或本地文件时处理数据源的基类 它实现了很多具体方法比如切片方法(getSplits)和isSplitable判断文件是否可切片 2.1 getSplits-切片规则 1.对job输入路径中的每个文件单独切片 2.判断每个文件是否支持切片 true : 按照指定切片大小对文件切片 false: 文件整体作为一个切片 2.2 怎样设置切片大小
// 切片大小计算规则
splitSize Math.max(minSize, Math.min(maxSize, blockSize))// 切片大小设置参数
set mapreduce.input.fileinputformat.split.minsize256000000 或
set mapred.min.split.size256000000set mapreduce.input.fileinputformat.split.maxsize256000000 或
set mapred.min.split.size256000000//场景1: 没有设置minsize、maxsize参数
maxSizeLong.MAX_VALUE
minSize1L
blockSize本地目录32M|HDFS目录128M或256M(看hdfs文件块具体配置)splitSizeblockSize(32M|128M|256M)//场景2: 设置minsize、maxsize参数
maxSizemapreduce.input.fileinputformat.split.maxSize
minSizemapreduce.input.fileinputformat.split.minsize
blockSize本地目录32M|HDFS目录128M或256M(看hdfs文件块具体配置)需求1: splitSize blockSize
set mapreduce.input.fileinputformat.split.minSize大于blockSize值需求2: splitSize blockSize
set mapreduce.input.fileinputformat.split.maxSize小于blockSize值
2.3 源码阅读
可以看之前写的例子 3. CombineFileInputFormat
转载1: https://blog.csdn.net/hummingbird0/article/details/115084843
转载2: https://blog.csdn.net/qq_35241080/article/details/106065442
