南宁网站建设网站推广,如何设计大型电商网站建设,网页设计免费模板中文,交互式网站备案一、目的
Flume采集Kafka的数据流需要实时监控#xff0c;这时就需要用到监控工具Ganglia
二、Ganglia简介 Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 #xff08;一#xff09;第一部分#xff1a;gmond gmond#xff08;Ganglia Monitoring Daemon#xff09;…一、目的
Flume采集Kafka的数据流需要实时监控这时就需要用到监控工具Ganglia
二、Ganglia简介 Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 一第一部分gmond gmondGanglia Monitoring Daemon是一种轻量级服务安装在每台需要收集指标数据的节点主机上。 使用 gmond可以很容易收集很多系统指标数据如 CPU、内存、磁盘、网络和活跃进程的数据等。 二第二部分gmetad gmetadGanglia Meta Daemon整合所有信息并将其以 RRD 格式存储至磁盘的服务。 三第三部分gweb gwebGanglia WebGanglia 可视化工具gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。 在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。 三、Ganglia单机版安装步骤
一下载epel-release和ganglia
yum -y install epel-release yum -y install ganglia-gmetad yum -y install ganglia-web yum -y install ganglia-gmond
二修改配置文件ganglia.conf
[roothurys22 ~]# vi /etc/httpd/conf.d/ganglia.conf Location /ganglia Require ip 192.168.0.22 # Require ip 10.1.2.3 # Require host example.org Require all granted /Location 三修改配置文件gmetad.conf
[roothurys22 ~]# vi /etc/ganglia/gmetad.conf 44 data_source my cluster hurys22 四修改配置文件gmond.conf
[roothurys22 ~]# vi /etc/ganglia/gmond.conf 30 name my cluster 31 owner unspecified 32 latlong unspecified 33 url unspecified 50 host hurys22 51 port 8649 52 ttl 1 57 # mcast_join 239.2.11.71 58 port 8649 # 接收来自任意连接的数据 59 bind 0.0.0.0 60 retry_bind true 五修改配置文件config
[roothurys22 ~]# vi /etc/selinux/config SELINUXdisabled 六文件赋权
[roothurys22 ~]# chmod -R 777 /var/lib/ganglia
七重启
[roothurys22 ~]# reboot
八启动 ganglia [roothurys22 ~]# sudo systemctl start gmond [roothurys22 ~]# sudo systemctl start httpd [roothurys22 ~]# sudo systemctl start gmetad 九打开网页浏览 ganglia 页面
http://hurys22/ganglia 十使用Ganglia监控Flume
1、修改Flume配置文件flume-env.sh
[roothurys22 ~]# cd /usr/local/hurys/dc_env/flume/flume190/conf/ [roothurys22 conf]# vi flume-env.sh
export JAVA_OPTS-Dflume.monitoring.typeganglia -Dflume.monitoring.hosts192.168.0.22:8649 -Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote 2、创建Flume任务文件 flume-netcat-logger.conf
[roothurys22 conf]# vi flume-netcat-logger.conf
# Name the components on this agent a1.sources r1 a1.sinks k1 a1.channels c1 # Describe/configure the source a1.sources.r1.type netcat a1.sources.r1.bind localhost a1.sources.r1.port 44444 # Describe the sink a1.sinks.k1.type logger # Use a channel which buffers events in memory a1.channels.c1.type memory a1.channels.c1.capacity 1000 a1.channels.c1.transactionCapacity 100 # Bind the source and sink to the channel a1.sources.r1.channels c1 a1.sinks.k1.channel c1 3、运行Flume任务
[roothurys22 flume190]# bin/flume-ng agent -c conf/ -n a1 -f conf/flume-netcat-logger.conf -Dflume.root.loggerINFO,console -Dflume.monitoring.typeganglia -Dflume.monitoring.hosts192.168.0.22:8649
或者
bin/flume-ng agent \ -c conf/ \ -n a1 \ -f conf/flume-netcat-logger.conf \ -Dflume.root.loggerINFO,console \ -Dflume.monitoring.typeganglia \ -Dflume.monitoring.hosts192.168.0.22:8649 4、使用44444端口发送数据 5、Flume运行界面显示任务运行 6、Ganglia监控图 这样Ganglia就能监控Flume的数据流希望能帮到大家
