安徽省建设厅网站职称,网站建设一般收费,漯河市住房建设局网站,网站以前在百度能搜索不到前言
本节内容我们主要介绍一下Flume数据采集过程中#xff0c;如何把多个数据采集点的数据聚合到一个地方供分析使用。我们使用hadoop101服务器采集nc数据#xff0c;hadoop102采集文件数据#xff0c;将hadoop101和hadoop102服务器采集的数据聚合到hadoop103服务器输出到…前言
本节内容我们主要介绍一下Flume数据采集过程中如何把多个数据采集点的数据聚合到一个地方供分析使用。我们使用hadoop101服务器采集nc数据hadoop102采集文件数据将hadoop101和hadoop102服务器采集的数据聚合到hadoop103服务器输出到控制台。其整体架构如下 正文
①在hadoop101服务器的/opt/module/apache-flume-1.9.0/job/group1目录下创建job-nc-flume-avro.conf配置文件用于监控nc发送的数据通过avro sink传输到avro source - job-nc-flume-avro.conf配置文件 # Name the components on this agent
a1.sources r1
a1.sinks k1
a1.channels c1
# Describe/configure the source
a1.sources.r1.type exec
a1.sources.r1.command tail -F /opt/module/apache-flume-1.9.0/a.log
a1.sources.r1.shell /bin/bash -c
# Describe the sink
a1.sinks.k1.type avro
a1.sinks.k1.hostname hadoop103
a1.sinks.k1.port 4141
# Describe the channel
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100
# Bind the source and sink to the channel
a1.sources.r1.channels c1
a1.sinks.k1.channel c1 ②在hadoop102服务器的/opt/module/apache-flume-1.9.0/job/group1目录下创建job-file-flume-avro.conf配置文件用于监控目录/opt/module/apache-flume-1.9.0/a.log的数据通过avro sink传输到avro source - job-file-flume-avro.conf配置文件 # Name the components on this agent
a1.sources r1
a1.sinks k1
a1.channels c1
# Describe/configure the source
a1.sources.r1.type exec
a1.sources.r1.command tail -F /opt/module/apache-flume-1.9.0/a.log
a1.sources.r1.shell /bin/bash -c
# Describe the sink
a1.sinks.k1.type avro
a1.sinks.k1.hostname hadoop103
a1.sinks.k1.port 4141
# Describe the channel
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100
# Bind the source and sink to the channel
a1.sources.r1.channels c1
a1.sinks.k1.channel c1③在hadoop103服务器的/opt/module/apache-flume-1.9.0/job/group1目录下创建job-avro-flume-console.conf配置文件用户将avro source聚合的数据输出到控制台 - job-avro-flume-console.conf配置文件 # Name the components on this agent
a1.sources r1
a1.sinks k1
a1.channels c1
# Describe/configure the source
a1.sources.r1.type avro
a1.sources.r1.bind hadoop103
a1.sources.r1.port 4141
# Describe the sink
# Describe the sink
a1.sinks.k1.type logger
# Describe the channel
a1.channels.c1.type memory
a1.channels.c1.capacity 1000
a1.channels.c1.transactionCapacity 100
# Bind the source and sink to the channel
a1.sources.r1.channels c1
a1.sinks.k1.channel c1④ 在hadoop103启动job-avro-flume-console.conf任务 - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/group1/job-avro-flume-console.conf -Dflume.root.loggerINFO,console ⑤在hadoop101启动job-nc-flume-avro.conf任务 - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/group1/job-nc-flume-avro.conf -Dflume.root.loggerINFO,console ⑥在hadoop102启动job-file-flume-avro.conf任务 - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/group1/job-file-flume-avro.conf -Dflume.root.loggerINFO,console ⑦使用nc工具向hadoop101发送数据 - nc发送数据 - hadoop103接收到数据 ⑧在hadoop102的a.log中写入数据 - 写入数据 - hadoop103接收到数据 结语
flume数据聚合就是为了将具有相同属性的数据聚合到一起便于管理、分析、统计等。至此关于Flume数据采集之采集数据聚合案例实战到这里就结束了我们下期见。。。。。。
