泉州市住房和城乡建设网站,广东网站系统建设,做简历的网站viso,杭州平面设计培训1.1 cat、zcat cat -n app.log | grep error#xff1a;查询日志中含有某个关键字error的信息#xff0c;显示行号。 cat -n app.log | grep error --color#xff1a;查询日志中含有某个关键字error的信息#xff0c;显示行号#xff0c;带颜色… 1.1 cat、zcat cat -n app.log | grep error查询日志中含有某个关键字error的信息显示行号。 cat -n app.log | grep error --color查询日志中含有某个关键字error的信息显示行号带颜色的。 cat -n test.log | tail -n 92 | head -n 20 表示查询92行之后的日志表示在前面的查询结果里再查前20条记录。 cat -n app.log |grep error | more使用more和less命令分页查看日志空格键翻页。 cat -n app.log |grep error temp.txt把日志保存到文件。 zcat shopdiy-job01.jd__shopdiy-job.warn.log-2019-03-25-1.log.gz | gerp hotelFriendCircle poi直接查找压缩包里的日志内容 gzip -dc app.log.2018-01-11.gz |grep 此次共实际刷数据 | more不解压直接查看压缩包中的“关键词”信息 1.2 grep grep -E 123|abc app.log(grep -E 123|abc app.log --color)查询日志文件app.log中包含 关键字 123 或 包含 关键字 abc 的行。(带颜色) tail -f app.log | grep -E -C20 123|abcd --color实时查看日志且包含关键字 123 或者 abcd 的行。 grep -nE 123|abc app.log查询日志文件app.log中包含 关键字 123 或 包含 关键字 abc 的行显示行号。 grep 此次共实际刷数据 app.log查看日志中的关键字。 grep 此次共实际刷数据 app.log | more查询关键字并且按空格键翻页。 grep -i magic app.log 不分大小写的搜索匹配magic。默认情况下是区分大小写的。 grep -w magic app.log 匹配整个单词而不是字符串的一部分(如匹配“magic”而不是“magical”)。 grep -E 123 app.log显示app.log中含有关键字123的行内容。 grep -E -A5 123 app.log显示app.log中含有关键字123的行内容以及之后的5行内容。 grep -E -B5 123 app.log显示app.log中含有关键字123的行内容以及之前的5行内容。 grep -E -C5 123 app.log显示app.log中含有关键字123的行内容以及之前之后的各5行内容。 1.3 head【头正尾负】 head -n 10 app.log(head -n 10 app.log、head 10 app.log)查看日志中的头10行日志。head -n -10 app.log查看日志中除了尾10行之外的所有日志。 1.4 tail【头正尾负】 tail -n 10 app.log(tail -n -10 app.log、tail -10 app.log)查看日志中的尾10行日志。 tail -n 10 app.log查看日志中除了头10行之外的所有日志。 tail -f app.log实时查看日志信息。 tail -f app.log |grep 关键词实时查看日志中含有某个关键词的信息。 tail -f app.log |grep -A3 关键词实时查看日志中含有某个关键词的信息该行的前面和后面各多显示3行。比如tail -f app.log |grep -A3 此次共实际刷数据。 tail -f app.log |grep mtUserScore --color实时查看app.log日志中的含有关键词“mtUserScore”的日志信息并且彩色打印。 tail -n 20 app.log |grep --color 此次共实际刷数据查看日志的最后20行并且搜索关键字。 tail -fn 100 app.log循环实时查看最后100行的记录。 tail -fn 100 app.log |grep --color 此次共实际刷数据循环查看最后100行的记录并且查找关键字。 tail -500 /data/applogs/tomcat/catalina.out查看Tomcat错误日志。 tail -f app.log | grep -A50 randomFlow --color查看后面50行的日志。tail -f app.log | grep -A50 接口查询结果 --color tail -f app.log | egrep repast launchId|whtOuterCreativeService.generateCreative --color命中多个关键字中其中一个即可注意| 的前后不能有空格。 tail -f app.log | egrep ERROR|WARN --color命中多个关键字中其中一个即可注意| 的前后不能有空格。 tail -f app.log | egrep ERROR|WARN -wc统计数量命中多个关键字中其中一个即可注意| 的前后不能有空格。 grep modifyBudget midas-shopdiy-web.access.log | grep realAccountId58754220 --color同时满足两个条件。 tail -f nginx.access.log | grep -E getPaginateList|queryAccounts --color 匹配多个关键字之一即可 1.5 ps ps -ef |grep java查看Java进程。 ps -ef |grep tomcat查看Tomcat进程。 curl www.baidu.com查看url能不能使用。 ps -ef | grep 8080查看端口号8080被哪个进程占用。 ps -ef | grep redis查看已经启动所有进程中与字符“redis”相关的进程。 ps -ef | grep java查看已经启动所有进程中与字符“java”相关的进程。 ping 192.168.1.122查看本机能否和IP192.168.1.122的主机连通。 scp -r redis-3.0.0/ 192.168.1.122:/usr/local如果可以连通则可以远程传输文件。 cp redis.conf /usr/local/redis-cluster/7001复制文件到指定文件夹。 1.6 Nginx日志查询 应用日志记录的位置/data/applogs/shopdiy-web/logs tail -f app.log动态查看应用日志。 应用Nginx日志记录的位置HTTP请求时长结果查看/data/applogs/nginx tail -f shopdiy-web.access.log通过访问页面来动态查看Nginx日志。 1.7 压缩包的解压-压缩 gz压缩app.log-2018-09-22-1.log 文件执行gzip app.log-2018-09-22-1.log被压缩成 app.log-2018-09-22-1.log.gz gz接压缩app.log-2018-09-22-1.log.gz 文件执行gzip -d app.log-2018-09-22-1.log.gz被解压成 app.log-2018-09-22-1.log gzip -dc app.log.2018-01-11.gz |grep 此次共实际刷数据 | more不解压直接查看压缩包中的“关键词”信息 1.8 sed 这个命令可以查找日志文件特定的一段 , 也可以根据时间的一个范围查询。 sed -n 5,10p app.log按照行数——查看日志第5到第10行。 sed -n /2018-04-08 09:40:53.374/,/2018-04-08 10:21:04.812/p express.log | grep 此次共实际刷数据 按照时间段——查看两个时间之间的日志并且显示关键字。其中时间点一定要在日志中存在可用grep -E 2018-04-08 09:40:53.374 app.log --color来查看时间点是不是存在日志中带颜色。 1.9 lsof (list open files) lsof -i tcp查看TCP连接的端口号使用情况 lsof -i udp查看UDP连接的端口号使用情况 lsof -i tcp:58528 :(port替换成端口号比如6379)可以查看该端口被什么程序占用并显示PID方便kill lsof -i udp:58529 :(port替换成端口号比如6379)可以查看该端口被什么程序占用并显示PID方便kill kill -9 518结束进程PID号为518的进程 1.10 netstat netstat -a列出所有端口 netstat -at 列出所有tcp端口 netstat -au列出所有udp端口 netstat -l 只显示监听端口 netstat -lt 只列出所有监听tcp端口 netstat -lu 只列出所有监听udp端口 netstat -st显示 TCP 端口的统计信息 netstat -su显示 UDP 端口的统计信息 1.11 ifconfig ifconfigMac查看本机IP地址。其中的ether是硬件mac地址inet是IP地址。另可以参考这个知道https://jingyan.baidu.com/article/b0b63dbf3fefd14a48307013.html 1.12 查看日志文件大小和查看指定关键词 (1)wc -c app.log参数 -c 表示统计字符因为一个字符是一个字节所以这样得到字节数。 (2)du -sb app.log参数 -b 表示以B计数。 (3)du -sm app.log参数 -m 表示以M计数。 (4)du -sh app.log参数 -h 表示以K/M/G计数容易识别出文件大小 。 cd /data/applogs/nginx
ls -al
du -sh dp-nginx.access.log 查看这个文件中这个关键词被调用地方
cat dp-nginx.access.log | grep queryAccountBalance
查看这个文件中这个关键词被调用的数量
cat dp-nginx.access.log | grep queryAccountBalance | wc -l
查看这些文件中这个关键词被调用的数量
cat dp-nginx.access* | grep queryAccountBalance | wc -l 另less app.log使用 (1) cd /data/applogs/shopdiy-cpc-job/logs
(2) ls -al
(3) 分页加载日志数据less app.log
(4) 此时shiftGG 命令进入文件尾部然后输入 shfit?并且后面跟随你想要搜索的关键词比如 ?NewCheckEntityStatusJob回车此时你想要看到的关键词都会加亮显示供你查阅。
此时N 是逐个向上翻阅shiftN 是逐个向下翻阅。Q 是退出日志界面。 1.99 杂家笔记 less log.logshift GG 命令到文件尾部然后输入 加上你要搜索的关键字例如 1213 shiftn 关键字之间进行切换。 tac则是由最后一行到第一行反向在萤幕上显示出来与cat反过来。 history所有的历史记录 history | grep XXX历史记录中包含某些指令的记录 history | more分页查看记录 history -c清空所有的历史记录 uname -a查看内核/操作系统/CPU信息 cat /proc/cpuinfo查看CPU详细信息 hostname查看计算机名称 env查看系统环境变量 free -m查看内存使用量、查看交换区使用量 df -h查看各分区使用量 du -sh 目录名查看指定目录的大小 du -sh 文件名查看指定文件的大小 grep MemTotal /proc/meminfo查看计算机是多大内存常用的是8G8388608kB grep MemFree /proc/meminfo查看计算机还剩余多少内存 uptime查看系统运行时间、用户数量、负载 ifconfig查看所有网络接口的属性 netstat -lntp查看所有监听的端口号 ps -ef查看所有进程 top实时显示进程状态 last查看用户登录这台机器的日志 rpm -qa查看系统上安装的所有的软件包 wc app.logapp.log文件的统计信息 3、92、598 app.log。app.log 文件的行数为3、单词数92、字节数598。 正则表达式 grepgrep详解 # grep默认是区分大小写的这里将匹配所有的小写字母 $ echo 1234\nabcd | grep [a-z]
# 将匹配所有的数字 $ echo 1234\nabcd | grep [0-9]
# 将匹配所有的数字 $ echo 1234\nabcd | grep [[:digit:]]
# 将匹配所有的小写字母 $ echo 1234\nabcd | grep [[:lower:]]
# 将匹配所有的大写字母 $ echo 1234\nabcd | grep [[:upper:]]
# 将匹配所有的字母和数字包括0-9,a-z,A-Z $ echo 1234\nabcd | grep [[:alnum:]]
# 将匹配所有的字母 $ echo 1234\nabcd | grep [[:alpha:]] cat 1.txt | grep [0-9]
cat 1.txt | grep [[:digit:]]
cat 1.txt | grep [[:alpha:]]
cat 1.txt | grep [[:upper:]]
cat 1.txt | grep [[:lower:]]
cat 1.txt | grep [[:alnum:]] grep简介 grepGloabal Search Regular Expression and Print out the line意为全局搜索正则表达式并打印文本行。所以 grep是一个强大的文本搜索工具。 grep与正则表达式联系紧密。 之后也会从这两个大的方面来详细介绍。grep命令的基本语法如下grep [options] pattern [file...] options表示选项具体的命令选项见下表。 pattern表示要匹配的模式(包括目标字符串、变量或者正则表达式)。 file表示要查询的文件名可以是一个或者多个。pattern后面所有的字符串参数都会被理解为文件名。 选项说明-c只打印匹配的文本行的行数不显示匹配的内容-i匹配时忽略字母的大小写-h当搜索多个文件时不显示匹配文件名前缀-n列出所有的匹配的文本行并显示行号-l只列出含有匹配的文本行的文件的文件名而不显示具体的匹配内容-s不显示关于不存在或者无法读取文件的错误信息-v只显示不匹配的文本行-w匹配整个单词-x匹配整个文本行-r递归搜索搜索当前目录和子目录-q禁止输出任何匹配结果而是以退出码的形式表示搜索是否成功其中0表示找到了匹配的文本行-b打印匹配的文本行到文件头的偏移量以字节为单位-E支持扩展正则表达式-P支持Perl正则表达式-F不支持正则表达式将模式按照字面意思匹配 grep简单应用场景 首先介绍一下我的实验环境在/Users/cmm/test4MingLing下建立3个简单的txt文件 #----------------------/Users/cmm/test4MingLing/text1.txt--------------------- hello world mailx uuen letitia #----------------------/Users/cmm/test4MingLing/text2.txt--------------------- hello world,this is for grep test #----------------------/Users/cmm/test4MingLing/text3.txt--------------------- hello world tyrone (1)多文件查询file之间用空格隔开。 grep -i hello world text1.txt text2.txt
#输出结果
text1.txt:hello world
text2.txt:hello world,this is for grep test (2)多模式匹配模式之间为“逻辑或”的关系匹配任意一个即可返回。 #方法1使用-e选项
grep -e hello world -e mailx -r /Users/cmm/test4MingLing
#方法2使用正则表达式-E
grep -E hello world|mailx -r /Users/cmm/test4MingLing
#方法3使用正则表达式egrep同grep -E等效
egrep hello world|mailx -r /Users/cmm/test4MingLing --color
#输出结果均相同
/Users/cmm/test4MingLing/text1.txt:hello world
/Users/cmm/test4MingLing/text1.txt:mailx
/Users/cmm/test4MingLing/text2.txt:hello world,this is for grep test
/Users/cmm/test4MingLing/text3.txt:hello world (3)多模式匹配模式之间为“逻辑与”的关系匹配所有模式。 基本思想大致相同先匹配一个模式然后grep下面一个模式将前一次grep的结果作为要查询文件路径依次向后传递。 PS注意前一次grep的结果必须加上 -l 选项否则会把匹配成功的文件内容作为要查询的文件名向后传递。 我希望做到的是能够显示出同时包含模式的文件并且跟随显示匹配每个模式的内容。可惜我现在找到的方法都仅仅能够显示匹配最后一个模式的内容。 #方法1将其按一次的结果重定向到一个文件然后 xargs grep 来依次读取。
grep -i hello world -rl /Users/cmm/test4MingLing temp.txt
cat temp.txt |xargs grep -i mailx
#输出结果
/Users/cmm/test4MingLing/text1.txt:mailx#方法2直接利用管道
grep -i hello world -rl /Users/cmm/test4MingLing | xargs grep -i mailx
#输出结果
/Users/cmm/test4MingLing/text1.txt:mailx 最后不得不感慨一下linux命令的组合方式能像积木一样堆积出无穷的组合是时候展现真正的想象力了。。。 (4)查找指定用户的进程 ps 是查看当前进程的指令e 表示所有进程f 表示全格式。 ps -ef |grep cmm ps -ef |grep cmm
#输出结果 502 700 1 0 9:08上午 ?? 0:00.03 /Applications/Google Chrome.app/Contents/Versions/70.0.3538.110/Google Chrome Framework.framework/Helpers/crashpad_handler --monitor-self-annotationptypecrashpad-handler --database/Users/cmm/Library/Application Support/Google/Chrome/Crashpad --metrics-dir/Users/cmm/Library/Application Support/Google/Chrome --urlhttps://clients2.google.com/cr/report --annotationchannel --annotationplatOS X --annotationprodChrome_Mac --annotationver70.0.3538.110 --handshake-fd90 838 837 0 9:19上午 ttys001 0:00.02 login -pf cmm0 6133 837 0 2:28下午 ttys003 0:00.03 login -pf cmm502 7467 6134 0 3:54下午 ttys003 0:00.00 grep --colorauto --exclude-dir.bzr --exclude-dirCVS --exclude-dir.git --exclude-dir.hg --exclude-dir.svn cmm
