添加网站栏目的步骤,科技公司网站设计服务,甘肃住房和城乡建设厅网站首页,陕西农产品网站建设这可不是目录 配置文件官网说明属性参数时间参数 配置文件官网说明
可以参考官网的说明
属性参数
属性名称默认值说明channel-type-组件类型名称#xff0c;必须是hdfshdfs.path-HDFS路径#xff0c;例如#xff1a;hdfs://mycluster/flume/mydatahdfs.filePrefixFlumeDa… 这可不是目录 配置文件官网说明属性参数时间参数 配置文件官网说明
可以参考官网的说明
属性参数
属性名称默认值说明channel-type-组件类型名称必须是hdfshdfs.path-HDFS路径例如hdfs://mycluster/flume/mydatahdfs.filePrefixFlumeDataflume在hdfs目录中创建文件的前缀hdfs.fileSuffix-flume在hdfs目录中创建文件的后缀hdfs.inUsePrefix-flume正在写入的临时文件的前缀hdfs.inUseSuffix.tmpflume正在写入的临时文件的后缀hdfs.rollInterval30多长时间写一个新的文件 (0 不写新的文件)单位秒hdfs.rollSize1024文件多大时写新文件单位字节(0: 不基于文件大小写新文件)hdfs.rollCount10当写一个新的文件之前要求当前文件写入多少事件(0 不基于事件数写新文件)hdfs.idleTimeout0多长时间没有新增事件则关闭文件(0 不自动关闭文件)单位秒hdfs.batchSize100写多少个事件开始向HDFS刷数据hdfs.codeC-压缩格式gzip, bzip2, lzo, lzop, snappyhdfs.fileTypeSequenceFile支持的值有SequenceFileDataStreamCompressedStreamhdfs.maxOpenFiles5000最大打开文件数。如果数量超了则关闭最旧的文件hdfs.minBlockReplicas-对每个hdfs的block设置最小副本数。不指定则使用hadoop的配置值默认为1hdfs.writeFormat-对于sequence file记录的类型。Text或者Writable默认值hdfs.callTimeout10000为HDFS操作如open、write、flush、close准备的时间单位毫秒hdfs.threadsPoolSize10每个HDFS sink用于HDFS io操作的线程数hdfs.rollTimerPoolSize1每个HDFS sink用于调度计时文件滚动的线程数hdfs.roundfalse是否需要新建文件夹以支持文件夹滚动hdfs.roundValue1与roundUnit一起指定文件夹滚动的时长会四舍五入hdfs.roundUnitsecond控制文件夹个数。多长时间生成新文件夹可设置为second, minute或hourhdfs.timeZoneLocal Time用于解析目录路径的时区名称例如America/Los_Angeleshdfs.useLocalTimeStampfalse一般设置为true以使用本地时间。若不使用则要求flume发送的事件header中带有时间戳
时间参数
别名描述%tUnix时间戳毫秒%{host}替换名为host的事件header的值。支持任意标题名称。%a星期几的短名例如Mon, Tue, …%A星期几的全名例如Monday, Tuesday, …%b月份短名例如Jan, Feb, …%B月份全名例如January, February, …%c时间和日期格式如Thu Mar 3 23:05:25 2030%d月份中的天数两位数字表示01-31%e月份中的天数不补零1-31%D日期与%m/%d/%y格式相同%H小时24小时制两位数字表示00-23%I小时12小时制两位数字表示01-12%j一年中的天数三位数字表示001-366%k小时24小时制不补零0-23%m月份两位数字表示01-12%n月份不补零1-12%M分钟两位数字表示00-59%p本地化的上午或下午标识%s自1970-01-01 00:00:00 UTC以来的秒数%S秒两位数字表示00-59%y年份的最后两位两位数字表示00-99%Y年份四位数字表示例如2030%z数字时区例如hhmm如-0400
