中英文切换网站开发,电子商务成功的网站,网站平台建设咨询合同,海西州公司网站建设环境检查
#首先确认自己的Linux是Centos版本#xff0c;运行命令
cat /etc/centos-release结果#xff1a;CentOS Linux release 7.9.2009 (Core)
安装 Flume本身是由Java开发的#xff0c;所以需要服务器上安装好JDK1.8#xff08;注意区分Linux还是Windows系统的JDk运行命令
cat /etc/centos-release结果CentOS Linux release 7.9.2009 (Core)
安装 Flume本身是由Java开发的所以需要服务器上安装好JDK1.8注意区分Linux还是Windows系统的JDk。 进入软件预安装目录下载Flume的安装包 # 进入预安装目录
cd /opt/presoftware/
# 下载或者上传Flume绿色软件解压即安装 tar -xvf apache-flume-1.11.0-bin.tar.gz -C /opt/software/重命名 cd /opt/software/
mv apache-flume-1.11.0-bin/ flume-1.11.0配置环境变量 # 编辑文件
vim /etc/profile.d/flumehome.sh
# 在文件中添加
export FLUME_HOME/opt/software/flume-1.11.0
export PATH$PATH:$FLUME_HOME/bin
# 保存退出生效
source /etc/profile.d/flumehome.sh
# 测试
flume-ng version如果是官网下载的Flume安装包那么需要注意连接池的jar包和Hadoop jar包是否冲突 # 查看Flume的连接池jar包
ls /opt/software/flume-1.11.0/lib/guava*
# 如果guava的版本是11.0.2版本和Hadoop3.2.4的guava版本不一样
rm -rf /opt/software/flume-1.11.0/lib/guava-11.0.2.jar
# 复制Hadoop的jar过来
cp /opt/software/hadoop-3.2.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/software/flume-1.11.0/lib/控制台打印 需要注意的是从Flume1.10.0版本开始Flume将log4j 1.x替换为了log4j 2.x因此导致输出数据的时候默认是将数据写到flume.log文件中但是学习过程中希望数据能够直观展现(打印到控制台上)所以需要修改配置 编辑文件 vim /opt/software/flume-1.11.0/conf/log4j2.xml在文件中添加 LoggersLogger nameorg.apache.flume.lifecycle levelinfo/Logger nameorg.jboss levelWARN/Logger nameorg.apache.avro.ipc.netty.NettyTransceiver levelWARN/Logger nameorg.apache.hadoop levelINFO/Logger nameorg.apache.hadoop.hive levelERROR/Root levelINFO#添加这一行配置让日志输出在控制台AppenderRef refConsole /AppenderRef refLogFile //Root/Loggers软件源码编译
一些官网和github上给的是源码需要自己根据自己的操作系统手动编译为软件较为复杂。
