网站网页基本情况 网页栏目设置,成都装修公司哪家口碑最好,wordpress nas 外网,有edi证书可以做网站运营么目录
1.日志系统概述
2.环境搭建
3.应用如何推日志到MQ
4.logstash如何去MQ中取日志
5.如何兼顾分布式链路追踪 1.日志系统概述
关于日志系统#xff0c;其要支撑的核心能力无非是日志的存储以及查看#xff0c;最好的查看方式当然是实现可视化。目前市面上有成熟的解决…目录
1.日志系统概述
2.环境搭建
3.应用如何推日志到MQ
4.logstash如何去MQ中取日志
5.如何兼顾分布式链路追踪 1.日志系统概述
关于日志系统其要支撑的核心能力无非是日志的存储以及查看最好的查看方式当然是实现可视化。目前市面上有成熟的解决方案——ELK即elastic searchlogstashkibana。前文中我们已经聊过了ELK这条线本文主要就是基于ELK并在其中加一个MQ作为中间层来流量削峰、异步写日志。 这里首先要声明的是虽然本文在日志系统中使用到了MQ但MQ真的是必要的嘛
这个要看系统的体量了。除非是超大型的分布式架构服务上百个并且并发量较高才会考虑用MQ来做一层缓存从而来降低IO压力。如果不是上述情况的话是没有必要上MQ来做一个中间层的。日志作为系统中掺入的沙子其量本来就不会很大一次API调用平均能产生一条日志吗其实是不见的是吧。所以就这点数据量上MQ这种吞吐量的中间层简直就是杀鸡用牛刀过度设计徒增了系统的复杂度了。MQ更多的时候是拿来做移步任务或者定时任务的用来做业务上的流量削峰或者异步的去做些事情。比如异步的下订单、订单超时取消等。绝大多数时候我们的日志系统的架构直接让存储去直面日志IO都是能轻轻松松顶得住的。所谓的让存储去直面日志的IO是什么意思就是比如我走了ELK这条线那么就直接讲日志往es里面丢就对了。ELK这么用前面已经有文章介绍过了。本文还是聊一聊假设真的到了很极限的中间需要引入MQ的情况。
ELK的搭建这里就不赘述了前面有文章详细聊过
https://bugman.blog.csdn.net/article/details/135964825?spm1001.2014.3001.5502
https://bugman.blog.csdn.net/article/details/136017853?spm1001.2014.3001.5502
https://bugman.blog.csdn.net/article/details/136066171?spm1001.2014.3001.5502
这里我们只需要关注几个点
应用的日志如何推到mq中logstash如何去取mq中存放的日志
2.环境搭建
ELK相关内容 MQ我们选择rabbitMQ作为一个开箱即食的MQrabbitMQ的下载安装网上文章车载斗量此处就不赘述了。
3.应用如何推日志到MQ
写日志肯定是JAVA的日志框架来负责的前面有文章已经详细的介绍了JAVA的日志框架
【JAVA日志框架】JULJDK原生日志框架详解。_jul jdk-CSDN博客
JAVA的日志框架总的来说架构都是大同小异的都是由不同的appender有的里面叫handler其实都是一个东西来向不同的地方写日志 既然要往rabbitMQ里面写日志那当然就要一个rabbitMQ的appender了。这个appender在哪里在rabbitMQ的JAVA API依赖中 dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-amqp/artifactId /dependency dependency groupIdorg.springframework.amqp/groupId artifactIdspring-rabbit/artifactId /dependency 然后配置一下日志框架的配置文件即可这里我们以spring boot默认的日志框架logback为例在其配置文件中配置好rabbitMQ的appender即可 configuration !-- 定义 RabbitMQ 连接 -- appender nameRABBIT classcom.github.logback.amqp.AmqpAppender hostlocalhost/host !-- RabbitMQ 主机地址 -- port5672/port !-- RabbitMQ 端口 -- usernameguest/username !-- RabbitMQ 用户名 -- passwordguest/password !-- RabbitMQ 密码 -- exchangelogs/exchange !-- RabbitMQ 交换机 -- routingKeylogstash/routingKey !-- RabbitMQ 路由键 -- declareExchangetrue/declareExchange !-- 是否声明交换机 -- exchangeTypefanout/exchangeType !-- 交换机类型 -- durabletrue/durable !-- 是否持久化消息 -- applicationIdmyApplication/applicationId !-- 应用程序标识 -- !-- 其他可选配置 -- !--declareQueuetrue/declareQueue-- !--queuelogQueue/queue-- !--declareBindingtrue/declareBinding-- /appender !-- 定义日志输出格式 -- layout classch.qos.logback.classic.PatternLayout Pattern%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n/Pattern /layout !-- 根日志输出到 RabbitMQ -- root levelINFO appender-ref refRABBIT/ /root /configuration 4.logstash如何去MQ中取日志
logstash的input可以理解为插件既然是插件当然就有很多中类型其中就包括rabbitMQ的自然也有其它的下面是logstash从MQ中取数据然后推给es的一份示例 input { rabbitmq { host localhost # RabbitMQ 主机地址 port 5672 # RabbitMQ 端口 user guest # RabbitMQ 用户名 password guest # RabbitMQ 密码 queue logQueue # RabbitMQ 队列名 durable true # 是否持久化队列 ack true # 是否需要手动确认消息 threads 1 # 线程数 } } output { stdout { codec rubydebug } # 输出到控制台可选 elasticsearch { hosts [localhost:9200] # Elasticsearch 主机地址 index logstash-%{YYYY.MM.dd} # Elasticsearch 索引名 } } 5.如何兼顾分布式链路追踪
这里顺带讨论一个问题就是在ELK体系中如何去实现分布式链路跟踪。分布式链路跟踪相关内容前面有文章详细讨论过
https://bugman.blog.csdn.net/article/details/135258207?spm1001.2014.3001.5502
https://bugman.blog.csdn.net/article/details/135258207?spm1001.2014.3001.5502
其实在ELK中实现分布式链路追踪的方式很简单思路如下
仍然在应用侧上链路追踪技术来统一日志格式然后要进行查询追踪的时候直接使用Kibana的搜索和过滤功能来仅显示与特定跟踪ID或请求ID相关的日志消息或者利用Kibana的图表功能将日志数据与分布式追踪数据结合起来创建可视化的图表和仪表板。你可以根据需要显示请求的整个路径、每个步骤的响应时间、错误率等指标。
