企业怎样建立自己的网站,中国建设银行河北省分行官方网站,承德网站网站建设,怎么做网站备案连接本文主要介绍 Elasticsearch 的聚合功能#xff0c;介绍什么是 Bucket 和 Metric 聚合#xff0c;以及如何实现嵌套的聚合。
首先来看下聚合#xff08;Aggregation#xff09;#xff1a;
1 什么是 Aggregation#xff1f; 首先举一个生活中的例子#xff0c;这个是京…本文主要介绍 Elasticsearch 的聚合功能介绍什么是 Bucket 和 Metric 聚合以及如何实现嵌套的聚合。
首先来看下聚合Aggregation
1 什么是 Aggregation 首先举一个生活中的例子这个是京东的搜索界面在搜索框中输入“华为”进行搜索就会得到如上界面搜索框就是我们常用的搜索功能而下面这些比如分类、热点、操作系统、CPU 类型等是根据 ES 的聚合分析获得的相关结果。
看完上面这个例子下面来看下聚合的定义
ES 除了搜索以外还提供针对 ES 数据进行统计分析的功能也就是聚合它的特点是实时性非常高所有的计算结果都是即时返回的而 Hadoop 等大数据系统得到一个统计结果需要一天的时间一般都是 T 1 级别的。
通过聚合我们会得到一个数据的概览是分析和总结全套的数据而不是寻找单个文档比如海淀区和东城区的客房数量不同价格区间可预订的经济型酒店和商务型酒店的数量这样可以帮助我们过滤搜索的结果这样的优点是性能高只需要一条语句就可以从 ES 得到分析结果无需再客户端自己去实现分析逻辑。
在 ES 的聚合中主要一共分为四大类
Bucket Aggregation分桶类型一些列满足特定条件的文档的集合Metric Aggregation指标分析类型一些数学运算可以对文档字段进行统计分 析比如计算最大值、最小值、平均值等Pipeline Aggregation管道分析类型对其他聚合结果进行二次聚合Matrix Aggregation矩阵分析类型支持对多个字段的操作并提供一个结果矩阵
在以后的文章会对这些做详细的讲解本文先来了解下什么是 Bucket 和 Metric
Bucket 简单来说相当于 SQL 中的 GROUP可以根据条件把结果分成一个一个的组那 Metric 相当于 SQL 中的 COUNT可以去执行一系列的统计方法。
接下来看什么是 Bucket Aggregation
2 Bucket Aggregation Bucket 就是桶的意思即按照一定的规则将文档分配到不同的桶中达到分类分析的目的。如上图所示左边有一堆文档右边有三个桶每个桶有不同的规则比如第一个桶的规则为价格小于 3000 的第二个桶为价格大于等于 3000 小于 6000 的最后一个桶的规则为价格大于 6000 的然后不同的文档根据不同的价格分到不同的桶中那么我们就实现了分类。
有了 Bucket 聚合分析机制我们就可以把公司员工以年龄方式进行区分以地理位置的方式来区分客户以男性女性来区分演员等。
根据 Bucket 的分桶策略常见的 Bucket 聚合分析如下
Terms直接按照 term 来分桶如果是 text 类型则按照分词后的结果分桶Range指定数值的范围来设定分桶规则Date Range指定日期的范围来设定分桶规则Histogram直方图以固定间隔的策略来分割数据Date Histogram针对日期的直方图或者柱状图是时序数据分析中常用的聚合分析类型
下面以 Terms 为例让我们动手实践下 这是一个查看航班目的地的统计信息的例子通过指定关键词为 terms然后指明 term 字段 field 为 DestCountry下面我们请求下查看下请求结果 从结果中可以看到文档根据目的地分成了不同的桶每个桶还包括 doc_count这样就可以很轻松知道 ES 存储的航班信息中去往意大利、美国、中国等国家分别有多少架航班。
在简单了解了 Bucket 聚合分析后让我们来看下 Metric 聚合分析
3 Metric Aggregation
Metric 是基于数据集计算的结果除了支持在字段上进行计算同样也支持在脚本产生的结果之上进行计算。Metric 主要分为单值分析和多值分析具体内容如下
单值分析只输出一个分析结果
Min、Max、Avg、SumCardinality
其中Min、Max、Avg、Sum 这些很容易理解在这里说一下 Cardinality它是指不同数值的个数相当于 SQL 中的 distinct。
多值分析输出多个分析结果
Stats、Extended StatsPercentiles、Percentile RanksTop Hits
其中Stats 是做多样的数据分析可以一次性得到最大值、最小值、平均值、中值等数据Extended Stats 是对 Stats 的扩展包含了更多的统计数据比如方差、标准差等Percentiles 和 Percentile Ranks 是百分位数的一个统计Top Hits 一般用于分桶后获取桶内最匹配的顶部文档列表即详情数据。
了解之后让我们实操起来紧接着刚才查看航班目的地的统计信息的例子如果还想知道机票的均价最高最低价格该怎么做呢这就需要用到 Metric 了 我们在请求中加入 aggs其中 avg_price 为自己定义的名字这个是为了方便在以后理解这个字段返回值的含义然后分别关键词分别选择 avg、max、min 来完成计算目的地不同的航班的机票均价、最高最低价格这个请求的执行结果如下所示 从结果中可以看出飞往意大利的航班一共有 2371 架其中机票最高价格为 1195 元最低价格为 100 元平均价格为 586 元很快就可以得到统计的一些结果。
另外聚合分析还支持嵌套那么让我们看下如果实现一个嵌套聚合分析 通过这个请求不但可以获取到航班目的地的统计信息还可以得到航班抵达时的天气状况运行结果如下所示 可以看出在抵达意大利的航班中抵达时的天气有 424 次为晴天417 次为下雨天等所以通过嵌套的方式就可以很快得到更深层次的数据统计值。
4 总结
本文对 Elasticsearch 的聚合功能做了初步介绍也学习 Bucket 和 Metric 聚合分析在后续文章会对聚合功能做一个更加深入的讲解。
