出国做博士后网站,电子商务网站建设的工具,如何学编程入门教程,网站建设主要有哪些成本linux常用命令介绍 04 篇——uniq命令使用介绍#xff08;Linux重复数据的统计处理#xff09;1. uniq 使用语法2. sort 简单效果3. uniq 使用例子3.1 不加任何选项3.1.1 不用 sort 效果3.1.2 uniq 结合 sort 一起使用3.2 使用选项例子3.2.1 去重打印#xff08;或打印不重复…
linux常用命令介绍 04 篇——uniq命令使用介绍Linux重复数据的统计处理1. uniq 使用语法2. sort 简单效果3. uniq 使用例子3.1 不加任何选项3.1.1 不用 sort 效果3.1.2 uniq 结合 sort 一起使用3.2 使用选项例子3.2.1 去重打印或打印不重复行3.2.2 重复统计问题-c选项1. uniq 使用语法 uniq 常用于重复数据的处理 语法 uniq 文件名
uniq [选项] 文件名常见选项 -D 仅显示重复的行且打印重复行的所有行
-d 仅显示重复的行且每个重复的行只打印一次
-u 只打印不重复的行使用注意事项一般使用时结合 sort 一起使用sort 用来排序结合使用的效果是主要处理文档中不相邻的重复行。当然如果没有不相邻的重复行可以 uniq 单独使用但是为了避免结果出现不准确性尽量结合起来使用。 下面案例会让你体会到 sort 的重要性往下看吧……
2. sort 简单效果
sort 实现排序效果即把相同的行排在一起不多说简单看一个效果即可如下sort bb.txt3. uniq 使用例子
3.1 不加任何选项
3.1.1 不用 sort 效果
uniq 不加任何选项的时候是直接默认去重打印但是只针对相邻的重复行不相邻的重复行失效如下uniq bb.txt3.1.2 uniq 结合 sort 一起使用
再看一下结合 sort 使用的效果先排序后去重实现了重复内容的真正去重效果如下sort bb.txt |uniq
cat bb.txt | sort| uniq3.2 使用选项例子
下面的例子也是要结合 sort 同时使用的我们只演示第一个 -D 选项后面的就直接都加 sort 了。
3.2.1 去重打印或打印不重复行
-D仅显示重复的行且打印重复行的所有行即重复多少次打印多少行 看图说话一看就示例如下uniq -D bb.txt
sort bb.txt | uniq -D-d仅显示重复的行且每个重复的行只打印一次 示例如下sort bb.txt | uniq -d-u只打印不重复的行 示例如下sort bb.txt | uniq -u3.2.2 重复统计问题-c选项
跟上面的一样还是要结合 sort 一起使用的 先看第一个直接统计的效果cat bb.txt | sort | uniq -c上面的统计结果没问题但是排序稍微有点不舒服那继续优化一下吧……再看一个将统计后数字按大小排序的结果 根据上面我们对 sort 的理解将上面的结果再次使用一下使用sort -r 还能降序就完美达到了我们的要求如下cat bb.txt | sort | uniq -c | sort
cat bb.txt | sort | uniq -c | sort -r你还可以再用 awk 再简单处理一下如下cat bb.txt | sort | uniq -c | sort -r | awk {print $2,$1}
cat bb.txt | sort | uniq -c | sort -r | awk {print $1,$2}当然你也可以使用 awk 工具写个脚本跑一下今天先到这里这个后续再说自己可以搞一搞
