三亚网站建设价格,网站内页制作,网站建设分组任务,常州高端网站建设1.背景
最近网站数据库性能很不稳定#xff0c;查询性能在某段时间很慢#xff0c;服务器CPU也很高#xff0c;平常时间很低#xff0c;感觉被爬虫恶意搞了#xff0c;因此我分析了一下最近的nginx访问日志
2.方法
找出访问量最大20个ip
[root100 nginx]# cat liuhaih…1.背景
最近网站数据库性能很不稳定查询性能在某段时间很慢服务器CPU也很高平常时间很低感觉被爬虫恶意搞了因此我分析了一下最近的nginx访问日志
2.方法
找出访问量最大20个ip
[root100 nginx]# cat liuhaihua.access.log | awk -F {print $1} |sort |uniq -c |sort -rn|head -n 20
217636 47.76.99.127
217605 47.76.209.138
39006 66.249.74.72
38747 66.249.71.40
33965 216.244.66.244
29643 66.249.74.73
29207 14.153.238.144
28882 129.211.163.247
28485 14.155.183.120
23862 66.249.79.167
21645 14.153.233.199
19477 66.249.74.74
18979 14.155.230.15
17436 66.249.71.41
14782 66.249.69.35
13284 47.94.150.2
12954 66.249.70.71
12742 14.155.204.218
12728 14.153.241.201
解释uniq的一个特性检查重复行的时候只会检查相邻的行。重复数据肯定有很多不是相邻在一起的所以需要先进行排序然后进行统计再进行逆向排序。
参数解读
sort-r逆序输出排序结果-n根据字符串数值比较uniq从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。-c在每行前加上表示相应行目出现次数的前缀编号
查询某个IP的详细访问情况,按访问频率排序
[root100 nginx]# grep 47.76.99.127 liuhaihua.access.log |awk {print $7}|sort |uniq -c |sort -rn |head -n 1001641 /archives/497017.html1038 /archives/503168.html238 /156 /js/libs/jquery-confirm.min.js147 /js/libs/jquery.lazyload.min.js142 /js/libs/nprogress.min.js142 /js/libs/jquery.fancybox.min.js141 /js/zhyd.js
.....................
查看这个ip今天出现的次数
grep 47.76.99.127 /var/log/nginx/liuhaihua.access.log | grep $(date %d/%b/%Y) | awk -F {print $2} | awk {print $2}
这个命令的作用是
grep 47.76.99.127过滤出包含该IP地址的日志行。grep $(date %d/%b/%Y)进一步过滤出包含今天日期的日志行。wc -l统计这些行的数量。
查看这个IP今天访问的路径
grep 47.76.99.127 /var/log/nginx/liuhaihua.access.log | grep $(date %d/%b/%Y) | awk -F {print $2} | awk {print $2}
这个命令的作用是
grep 47.76.99.127过滤出包含该IP地址的日志行。grep $(date %d/%b/%Y)进一步过滤出包含今天日期的日志行。awk -F {print $2}提取出请求行通常是第二个字段。awk {print $2}从请求行中提取出请求的URL路径通常是第二个字段。
图形化nginx访问日志神器
安装
yum install goaccess
命令查看
goaccess liuhaihua.access.log
生成静态文件
goaccess liuhaihua.access.log -o report.html --log-formatCOMBINED
