新站加快网站收录,建设移动门户网站,会展免费网站模板,wordpress 集成环境ELK简介
elk#xff1a;elasticsearch logstash kibana#xff0c;统一日志收集系统。
elasticsearch#xff1a;分布式的全文索引引擎的非关系数据库#xff0c;json格式#xff0c;在elk中存储所有的日志信息#xff0c;架构有主和从#xff0c;最少需要2台。
…ELK简介
elkelasticsearch logstash kibana统一日志收集系统。
elasticsearch分布式的全文索引引擎的非关系数据库json格式在elk中存储所有的日志信息架构有主和从最少需要2台。
logstash动态的从各种指定的数据源获取数据而且对数据进行过滤分析。按照统一的格式发送到es。
kibana把es的数据进行展示进行客户端可以理解的操作汇总、分析和搜索数据的平台。 ELK的架构 工作原理
logstash收集日志数据收集到的数据按照es的格式发送到数据库在图像界面展示--kibana客户端访问kibana
数据库基本都是物理服务器
nginx可以微服务部署redis也可以微服务部署keep/lvs?docker可以部署k8s不需要。 安装ELK
注意安装ELK内存不能少于4G安装过程中要先检查下内存不够的话清理下
echo 3 /proc/sys/vm/drop_caches 实验架构如下
es1zw4192.168.254.14
es2zw5192.168.254.15
logstash、kibanamysql1192.168.254.31 安装elasticsearch
1、安装java依赖环境 2、提前准备好es包并安装 3、两台es服务器修改es主配置文件 /etc/elasticsearch/elasticsearch.yml
配置es1具体修改如下 配置es2具体修改如下 两台es服务器共同操作 保存退出后一键检查两台es配置有无问题 4、启动elasticsearch.service并检查是否启动成功
首先查看日志显示已启动 再查看端口显示端口已启 最后看浏览器能否正常访问 安装logstash和kibana
1、安装java依赖环境 2、安装logstash和kibana包
dpkg -i logstash-6.7.2.deb
dpkg -i kibana-6.7.2-amd64.deb 3、先开启logstash服务再创建软连接 回到别的目录下看logstash能否自动补齐 4、配置kibana配置文件/etc/kibana/kibana.yml创建kibana日志文件
修改配置文件前先创建备份文件 具体修改如下 创建kibana日志文件并赋权 重启后发现kibana启动成功 收集日志
当我们进行索引管理时发现没有记录说明我们没有logstash还不能收集数据。 1、创建logstash的本地日志收集文件 conf.d是logstash存放日志的目录system.conf创建日志收集文件必须要以.conf
具体脚本内容和注释如下 2、开启日志收集 -ffile从指定文件开始收集
--path.data /opt/test1没启动一个logstash就会有一个数据文件默认都在/var/log/logstash 最后显示logstash日志收集成功 3、登录kibana显示日志收集成功 这时候我们可以先启动nginx再关闭nginx可以发现日志收集更新也正常 filebeat
filebeat是一款轻量级的日志收集工具不依赖java环境。
用来替代在机器上没有java环境的情况下进行日志收集。
filebeat启动收集日志只要10M左右的内存。、 elkfilebeat架构 elkfilebeat实操
在上面实现ELK的基础上完成elkfilebeat实操。
实验架构如下
filebeatmysql2192.168.254.32
我们在192.168.254.32主机上安装filebeat软件然后模拟filebeat收集本机上nginx和mysql日
志。具体操作如下 1、首先配置mysql主配置文件打开mysql日志记录功能 2、安装filebeat包filebeat包解压即用 3、配置filebeat主配置文件/usr/local/filebeat/filebeat.yml添加内容和注释如下 #指定本机收集nginx和mysql日志包括类型、收集日志的位置及索引名称等 #允许这个进程开启线程 #logstash的端口不是说logstash一定是5044理论上来说可以是任意端口5044是logstash起始端口如果被别的程序占用可以从5044依次往后改。 4、创建logstash的nginx和mysql日志收集文件/etc/logstash/conf.d/test1.conf 5、先启动filebeat再启动logstash的日志收集文件test1.conf -e输出的格式为标准输出-c指定配置文件 最后我们在启动filebeat程序运行中可以看出filebeat的主机和logstash的主机连接成功 6、登录kibana显示日志收集成功
