河北建设工程造价信息网站,网页链接打不开怎么办,网站推广南京公司,网站备案注销#x1f947;#x1f947;【大数据学习记录篇】-持续更新中~#x1f947;#x1f947; 个人主页#xff1a;beixi 本文章收录于专栏#xff08;点击传送#xff09;#xff1a;【大数据学习】 #x1f493;#x1f493;持续更新中#xff0c;感谢各位前辈朋友们支持… 【大数据学习记录篇】-持续更新中~ 个人主页beixi 本文章收录于专栏点击传送【大数据学习】 持续更新中感谢各位前辈朋友们支持学习~ 上一篇文章写到了Flume集群环境的安装这篇文章接着上篇文章延伸Flume集群环境的启动与验证如果Flume集群环境没有搭建的小伙伴们可以参考我上一篇文章大数据组件-Flume集群环境搭建 文章目录 1.环境介绍2.Flume集群环境的启动与验证 1.环境介绍
本次用到的环境有 Oracle Linux 7.4三台虚拟机分别为master,slave1,slave2 JDK1.8.0_144 Hadoop2.7.4集群环境 Flume1.6.0
2.Flume集群环境的启动与验证
1.在master机上启动flume
/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/master.conf -Dflume.root.loggerINFO,console 2.切换slave1启动slave1上的flume
/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/slave.conf -Dflume.root.loggerINFO,console 3.切换至slave2启动slave2上的flume
/opt/flume/bin/flume-ng agent -n a1 -c conf -f /opt/flume/conf/slave.conf -Dflume.root.loggerINFO,console 4.切换至”从节点1双击桌面上的“Xfce终端”图标重新打开一个命令窗口。 5.新建立文件slave1.txt输入如下内容拷贝至flume的logs目录。
vi slave1.txtIm slave16.按键Esc按键”:wq!”保存退出。 7.拷贝文件slave1.txt至flume的logs目录。
cp slave1.txt /root/flume/logs8.切换至”主节点“查看master机的启动命令窗口会看到写入描述。
9.在“主节点”双击桌面上的“Xfce终端”图标重新打开一个命令窗口。
10.在“主节点”新打开一个命令窗口中查看HDFS日志上传情况列表。
hadoop dfs -lsr /flume11.查看HDFS列表中日志的内容即上一步截图中红框中的文件内容。注意这个日志文件每次上传名会不一样本次查询文件名为上图红框所示。
hadoop dfs -cat /flume/events/root/events-.155358235327012.切换至”从节点2“双击桌面上的“Xfce终端”图标重新打开一个命令窗口。 13.新建立文件slave2.txt输入如下内容拷贝至flume的logs目录。
vi slave2.txtIm slave214.按键Esc按键”:wq!”保存退出。 15.拷贝文件slave2.txt至flume的logs目录。
cp slave2.txt /root/flume/logs16.切换至”主节点“查看master机的启动命令窗口会看到写入描述此时表示新内容写入HDFS完成然后可查看HDFS里新加的内容。
17.在“主节点”双击桌面上的“Xfce终端”图标重新打开一个命令窗口。
18.在“主节点”新打开一个命令窗口中查看HDFS日志上传情况列表。
hadoop dfs -lsr /flume19.查看HDFS日志上传列表中日志的内容即上一步截图中红框中的文件内容。注意这个日志文件每次上传名会不一样本次查询文件名为上图红框所示。
hadoop dfs -cat /flume/events/root/events-.1553583628068至此Flume集群环境的启动与验证就到此结束了如果本篇文章对你有帮助记得点赞收藏关注~
