南宁建设职业技术学院招聘信息网站,e福州官网,门户网站 模板,成都定制公交app前置知识#xff1a; Flume学习笔记#xff08;1#xff09;—— Flume入门-CSDN博客 Flume学习笔记#xff08;2#xff09;—— Flume进阶-CSDN博客 Flume 数据流监控 Ganglia 的安装与部署
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。
gmond#xff08;Ganglia … 前置知识 Flume学习笔记1—— Flume入门-CSDN博客 Flume学习笔记2—— Flume进阶-CSDN博客 Flume 数据流监控 Ganglia 的安装与部署
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。
gmondGanglia Monitoring Daemon是一种轻量级服务安装在每台需要收集指标数据的节点主机上。使用 gmond你可以很容易收集很多系统指标数据如 CPU、内存、磁盘、网络和活跃进程的数据等。gmetadGanglia Meta Daemon整合所有信息并将其以 RRD 格式存储至磁盘的服务。gwebGanglia WebGanglia 可视化工具gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据
安装规划
首先在hadoop102hadoop103hadoop104上安装epel-releasesudo yum -y install epel-release epelExtra Packages for Enterprise Linux 包含一些额外的软件包用于增强系统的功能和性能 hadoop102gweb gmetad gmod
sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-web
sudo yum -y install ganglia-gmond 好像在安装gmetad的时候会为了解决依赖问题自动安装gweb和gmond hadoop103gmod
sudo yum -y install ganglia-gmond
hadoop104gmod
sudo yum -y install ganglia-gmond 配置文件
hadoop102上
1.修改ganglia的配置文件sudo vim /etc/httpd/conf.d/ganglia.conf 通过 windows 访问 ganglia , 需要配置 Linux 对应的主机(windows)ip 地址 2.修改gmetad的配置文件sudo vim /etc/ganglia/gmetad.conf hadoop102、103、104上 修改gmod的配置文件sudo vim /etc/ganglia/gmond.conf name与gmetad中配置的一致 数据发送给hadoop102 接收来自任意连接的数据 在hadoo102上关闭防火墙sudo vim /etc/selinux/config 重启后生效也可通过sudo setenforce 0使其临时生效 ganglia启动
如果出现权限不足的错误
sudo chmod -R 777 /var/lib/ganglia 然后在hadoop102、103、104上启动gmodsudo systemctl start gmond sudo systemctl restart gmond sudo systemctl status gmond sudo systemctl stop gmond 在hadoop102上sudo systemctl start httpd sudo systemctl restart httpd sudo systemctl status httpd sudo systemctl stop httpd httpd启动的时候可能会报错
httpd[2574]: AH00558: httpd: Could not reliably determine the se...age
遇到这种情况打开httpd的配置文件sudo vim /etc/httpd/conf/httpd.conf
然后找到Servername将#ServerName www.example.com:80改为ServerName localhost:80即可
centos系统使用yum安装的http的配置文件路径为/etc/httpd/conf/httpd.conf其余操作系统和安装方式路径可能有差别 sudo systemctl start gmetad sudo systemctl restart gmetad sudo systemctl status gmetad sudo systemctl stop gmetad 如果问题还是不能解决修改/etc/httpd/conf.d/ganglia.conf
将其余内容全部注释掉添加Require all granted Flume监控测试
启动Flume任务 bin/flume-ng agent \
-c conf/ \
-n a1 \
-f job/net-flume-logger.conf \
-Dflume.root.loggerINFO,console \
-Dflume.monitoring.typeganglia \
-Dflume.monitoring.hostshadoop102:8649
选择集群 可以看到内存、CPU、网络连接等状况 最下方点击hadoop102节点去查看flume任务的执行情况 向下找到flume metrics可以查看flume相关指标 具体含义如下 EventPutAttemptCount source 尝试写入 channel 的事件总数量 EventPutSuccessCount 成功写入 channel 且提交的事件总数量 EventTakeAttemptCount sink 尝试从 channel 拉取事件的总数量。 EventTakeSuccessCount sink 成功读取的事件的总数量 StartTime channel 启动的时间毫秒 StopTime channel 停止的时间毫秒 ChannelSize 目前 channel 中事件的总数量 ChannelFillPercentage channel 占用百分比 ChannelCapacity channel 的容量 图表的更新可能有一定的延迟
