门户网站的建设费用,软件开发工程师的薪资待遇,公司内部网站开发,全国职工素质建设工程专题网站什么是火焰图 火焰图#xff08;FlameGraph#xff09;是是由 Linux 性能优化大师 Brendan Gregg 发明的。通过 perf 等工具分析得到结果#xff0c;看起来就像是火焰#xff0c;这也是它的名字的由来。火焰图以一个全局的视野来看待时间分布#xff0c;它从底部往顶部FlameGraph是是由 Linux 性能优化大师 Brendan Gregg 发明的。通过 perf 等工具分析得到结果看起来就像是火焰这也是它的名字的由来。火焰图以一个全局的视野来看待时间分布它从底部往顶部列出所有可能导致性能瓶颈的调用栈。 火焰图就像是给一个软件系统拍的 X 光照片可以很自然地把时间和空间两个维度上的信息融合在一张图上以非常直观的形式展现出来从而反映系统在性能方面的很多定量的统计规律。 火焰图类型 ON-CPU和OFF-CPU off-CPU 时间一般是这个进程因为某种原因处于休眠状态比如说在等待某一个系统级别的锁或者被一个非常繁忙的进程调度器scheduler强行剥夺 CPU 时间片。通过这个维度上的信息我们可以分析系统锁方面的开销比如 sem_wait 这样的系统调用某些阻塞的 I/O 操作例如 open、read 之类还可以分析进程或线程之间争用 CPU 的问题。通过 off-CPU 火焰图都一目了然。 如何看懂火焰图 y 轴表示调用栈, 每一层都是一个函数。调用栈越深, 火焰就越高, 顶部就是采样时正在执行的函数, 下方都是它的父函数。 x 轴表示抽样数, 如果一个函数在 x 轴占据的宽度越宽, 就表示它被抽到的次数多, 即执行的时间长说明它是瓶颈原因的可能性就越大。注意, x 轴不代表时间, 而是所有的调用栈合并后, 按字母顺序排列的。 无意义的事情横向先后顺序是为了聚合跟函数间依赖或调用关系无关火焰图各种颜色是为方便区分本身不具有特殊含义。 其他的采样方式也可以使用火焰图 on-cpu 火焰图横轴是指 cpu 占用时间off-cpu 火焰图横轴则代表阻塞时间。不同类型火焰图适合优化的场景不同比如 on-cpu 火焰图适合分析 cpu 占用高的问题函数off-cpu 火焰图适合解决阻塞和锁抢占问题。
案例
on-cpu 火焰图 在进行压测时发现QPS 急剧下降在其 CPU 四十八核占用率几乎达到 100%的情况下只有几千 QPS通过绘制火焰图发现其主要耗时在一个 table 插入阶段(lj_cf_table_insert)分析代码发现是该 table 一直没有释放每次匹配不中路由会插入数据导致表越来越大后续插入耗时过长导致 QPS 下降。
off-cpu 火焰图 这是一张 nginx 的 off-cpu 火焰图我们可以很快锁定到 ngx_common_set_cache_fs_size - ngx_shmtx_lock - sem_wait 这段逻辑使用到了互斥锁它让 nginx 进程绝大部分阻塞等待时间花费在获取该锁。 这是一张 agent 的 off-cpu 火焰图它是一个多线程异步事件模型主线程处理各个消息多个线程分别负责配置下发或者监控上报的职责。当前问题出现在监控上报性能差无法在周期一分钟内完成监控数据上报导致监控断点通过 off-cpu 火焰图我们可以分析出该上报线程花费了大量的时间使用 curl_easy_perform 接口收发 http 监控数据消息中。
