自学移动端网站开发,网络运维工程师周报,wordpress最受欢迎的主题,做网站平台成本ElasticSearch第三讲#xff1a;ES详解 - Elastic Stack生态和场景方案 本文是ElasticSearch第三讲#xff0c;在了解ElaticSearch之后#xff0c;我们还要了解Elastic背后的生态 即我们常说的ELK#xff1b;与此同时#xff0c;还会给你展示ElasticSearch的案例场景…ElasticSearch第三讲ES详解 - Elastic Stack生态和场景方案 本文是ElasticSearch第三讲在了解ElaticSearch之后我们还要了解Elastic背后的生态 即我们常说的ELK与此同时还会给你展示ElasticSearch的案例场景让你在学习ES前对它有个全局的印象。 文章目录 ElasticSearch第三讲ES详解 - Elastic Stack生态和场景方案1、Elastic Stack生态1.1、Beats1.2、Logstash1.3、ElasticSearch1.4、Kibana 2、从日志收集系统看ES Stack的发展2.1、beatselasticsearchkibana2.2、beatslogstathelasticsearchkibana2.3、beatsMQlogstashelasticsearchkibana ✅ 3、Elastic Stack最佳实践3.1、日志收集系统3.2、Metric收集和APM性能监控3.3、多数据中心方案 4、参考文章 1、Elastic Stack生态 Beats Logstash ElasticSearch Kibana 如下是我从官方博客中找到图这张图展示了ELK生态以及基于ELK的场景最上方 由于Elastic X-Pack是面向收费的所以我们不妨也把X-Pack放进去看看哪些是由X-Pack带来的在阅读官网文档时将方便你甄别重点 1.1、Beats
Beats是一个面向轻量型采集器的平台这些采集器可以从边缘机器向Logstash、ElasticSearch发送数据它是由Go语言进行开发的运行效率方面比较快。从下图中可以看出不同Beats的套件是针对不同的数据源。 1.2、Logstash
Logstash是动态数据收集管道拥有可扩展的插件生态系统支持从不同来源采集数据转换数据并将数据发送到不同的存储库中。其能够与ElasticSearch产生强大的协同作用后被Elastic公司在2013年收购。
它具有如下特性
1实时解析和转换数据
2可扩展具有200多个插件
3可靠性、安全性。Logstash会通过持久化队列来保证至少将运行中的事件送达一次同时将数据进行传输加密
4监控
1.3、ElasticSearch
ElasticSearch对数据进行搜索、分析和存储其是基于JSON的分布式搜索和分析引擎专门为实现水平可扩展性、高可靠性和管理便捷性而设计的。
它的实现原理主要分为以下几个步骤
1首先用户将数据提交到 ElasticSearch 数据库中
2再通过分词控制器将对应的语句分词
3将分词结果及其权重一并存入以备用户在搜索数据时根据权重将结果排名和打分将返回结果呈现给用户
1.4、Kibana
Kibana实现数据可视化其作用就是在ElasticSearch中进行民航。Kibana能够以图表的形式呈现数据并且具有可扩展的用户界面可以全方位的配置和管理ElasticSearch。
Kibana最早的时候是基于Logstash创建的工具后被Elastic公司在2013年收购。
1Kibana可以提供各种可视化的图表
2可以通过机器学习的技术对异常情况进行检测用于提前发现可疑问题
2、从日志收集系统看ES Stack的发展 我们看下ELK技术栈的演化通常体现在日志收集系统中。 一个典型的日志系统包括
1收集能够采集多种来源的日志数据
2传输能够稳定的把日志数据解析过滤并传输到存储系统
3存储存储日志数据
4分析支持 UI 分析
5警告能够提供错误报告监控机制
2.1、beatselasticsearchkibana
Beats采集数据后存储在ES中由Kibana可视化的展示。 2.2、beatslogstathelasticsearchkibana 该框架是在上面的框架的基础上引入了logstash引入logstash带来的好处如下
1Logstash具有基于磁盘的自适应缓冲系统该系统将吸收传入的吞吐量从而减轻背压。
2从其他数据源例如数据库S3或消息传递队列中提取。
3将数据发送到多个目的地例如S3HDFS或写入文件。
4使用条件数据流逻辑组成更复杂的处理管道。
beats结合logstash带来的优势
1水平可扩展性高可用性和可变负载处理beats和logstash可以实现节点之间的负载均衡多个logstash可以实现logstash的高可用
2消息持久性与至少一次交付保证使用beats或Winlogbeat进行日志收集时可以保证至少一次交付。从Filebeat或Winlogbeat到Logstash以及从Logstash到Elasticsearch的两种通信协议都是同步的并且支持确认。Logstash持久队列提供跨节点故障的保护。对于Logstash中的磁盘级弹性确保磁盘冗余非常重要。
3具有身份验证和有线加密的端到端安全传输从Beats到Logstash以及从 Logstash到Elasticsearch的传输都可以使用加密方式传递 。与Elasticsearch进行通讯时有很多安全选项包括基本身份验证TLSPKILDAPAD和其他自定义领域
增加更多的数据源 比如TCPUDP和HTTP协议是将数据输入Logstash的常用方法 2.3、beatsMQlogstashelasticsearchkibana ✅ 在如上的基础上我们可以在beats和logstash中间添加一些组件redis、kafka、RabbitMQ等添加中间件将会有如下好处
1降低对日志所在机器的影响这些机器上一般都部署着反向代理或应用服务本身负载就很重了所以尽可能的在这些机器上少做事
2如果有很多台机器需要做日志收集那么让每台机器都向Elasticsearch持续写入数据必然会对Elasticsearch造成压力因此需要对数据进行缓冲同时这样的缓冲也可以在一定程度保护数据不丢失
3将日志数据的格式化与处理放到Indexer中统一做可以在一处修改代码、部署避免需要到多台机器上去修改配置
3、Elastic Stack最佳实践 我们再看下官方开发成员分享的最佳实践。 3.1、日志收集系统
基本的日志系统 增加数据源和使用MQ 3.2、Metric收集和APM性能监控 3.3、多数据中心方案
通过冗余实现数据高可用 两个数据采集中心比如采集两个工厂的数据采集数据后的汇聚 数据分散跨集群的搜索 4、参考文章
https://www.elastic.co/cn/elasticsearch/https://www.elastic.co/pdf/architecture-best-practices.pdfhttps://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.htmlhttps://www.cnblogs.com/supersnowyao/p/11110703.htmlhttps://blog.51cto.com/wutengfei/2645627
