网站建设年费,修改wordpress ftp端口,我想找一个电销外包团队,昌邑微信网站建设公司文章目录问题解决方式参考问题
在使用Kibana观察日志排查问题时发现存在很多组的timestamp 数据一样#xff0c;如下所示 详细观察内部数据发现其中日志数据有一个timestamp字段保存的是业务日志的毫秒级时间戳#xff0c;经过和timestamp数据对比发现二者的时间不匹配。经…
文章目录问题解决方式参考问题
在使用Kibana观察日志排查问题时发现存在很多组的timestamp 数据一样如下所示 详细观察内部数据发现其中日志数据有一个timestamp字段保存的是业务日志的毫秒级时间戳经过和timestamp数据对比发现二者的时间不匹配。经过分析得知timestamp是按照logstash插入es数据的时间来排序而且数据是按照批次来的每一批次的时间可能都是大径相同结果就是导致上面描述的一系列问题。
解决方式
针对该问题我们可以使用logstash中的filter中date属性来进行日期的转换即使用业务日志中的timestamp字段去替换掉logstash自己生成timestamp时间。
date属性的使用参考如下 https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html
date {match [ biz_time, yyyyMMdd HH:mm:ss.SSS ]target new_time
}简单的使用配置参考如上所示其中match匹配处理输入日志数据的那个字段以及对应的数据类型target表示要去匹配映射的字段可以是一个已存在的字段也可以是一个新的字段。 需要注意的是你必须要严格匹配输入日志对应属性的日期类型如果你是类似2023-01-01 12:12那么就需要指定为这样的日期格式如果是时间戳那么就需要指定为UNIX或者UNIX_MS,前者为秒级的时间戳后者为毫秒级的时间戳需要严格对应的否则会无法匹配转换。
举例下面为项目的业务日志信息我想要使用红色框内的timestamp字段为timestamp时间 参考配置如下
filter{date{match[timestamp, UNIX_MS ]targettimestamp}
}修改配置完后重启logstash观察启动日志然后再看索引数据
参考
【如何将时间戳转换为日期字段数据】 https://discuss.elastic.co/t/how-to-convert-a-unix-timestamp-field-to-a-new-date-field/50966
【logstash中date转换】 https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html
