建立网站商店,百度推广登录入口,广州网络营销公司推荐,山西省建筑工程网文章目录 一.什么是Elasticsearch?1.正向索引和倒排索引2.Mysql和ES的概念对比3.安装elasticsearch、kibana 二.IK分词器三.索引库操作四.文档操作五.RestClient操作索引库1.初始化RestClient2.创建索引库3.删除索引库4.判断索引库是否存在 六.RestClient操作文档1.新增文档2.… 文章目录 一.什么是Elasticsearch?1.正向索引和倒排索引2.Mysql和ES的概念对比3.安装elasticsearch、kibana 二.IK分词器三.索引库操作四.文档操作五.RestClient操作索引库1.初始化RestClient2.创建索引库3.删除索引库4.判断索引库是否存在 六.RestClient操作文档1.新增文档2.查询数据3.修改数据4.删除数据5.批量插入数据 七.DSL查询文档八.RestClient检索查询文档 一.什么是Elasticsearch?
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性能使数据在生产环境变得更有价值。
Elasticsearch是一款非常强大的开源搜索引擎可以帮助我们从海量数据中快速找到需要的内容。
Elasticsearch结合kibana、Logstash、Beats也就是elastic stackELK。被广泛应用在日志数据分析、实时监控等领域。
Elasticsearch是elastic stack的核心(不可替换)负责存储、搜索、分析数据。 1.正向索引和倒排索引
文档document每条数据就是一个文档
词条term文档按照语义分成的词语 正向索引Forward Index 定义 正向索引是根据文档-词项对的方式建立的索引。每个文档都有一个记录其中包含了文档中的所有词项及其位置信息。
例如Mysql就是使用的正向索引,根据id检索一个文档非常快,但是根据文档中某个字段检索文档只能逐条检索 倒排索引Inverted Index 定义 倒排索引是根据词项-文档对的方式建立的索引。每个词项都有一个记录其中包含了包含该词项的所有文档及其位置信息。即对文档内容分词对词条创建索引并记录词条所在文档的信息。查询时先根据词条查询到文档id而后获取到文档
Elasticsearch就使用了倒排索引,将文档按照语义分成词条,根据词条建立词条表,这样就形成了词条-文档的结构,导致检索字段时非常快
倒排索引中包含两部分内容 词条词典Term Dictionary记录所有词条以及词条与倒排列表Posting List之间的关系会给词条创建索引提高查询和插入效率 倒排列表Posting List记录词条所在的文档id、词条出现频率 、词条在文档中的位置等信息 文档id用于快速获取文档 词条频率TF文档在词条出现的次数用于评分 文档:
elasticsearch是面向文档存储的可以是数据库中的一条商品数据一个订单信息。 文档数据会被序列化为json格式后存储在elasticsearch中。
索引:
相同类型的文档的集合
映射
索引中文档的字段约束信息类似表的结构约束 2.Mysql和ES的概念对比 Mysql擅长事务类型(ACID特性)操作可以确保数据的安全和一致性
Elasticsearch擅长海量数据的搜索、分析、计算
总而言之: 正向索引适合于文档级别的查询因为它直接提供了文档中的词项信息。 倒排索引适合于词项级别的查询因为它直接提供了包含某个词项的文档信息。
3.安装elasticsearch、kibana
通过Dokcer拉取镜像安装即可
二.IK分词器
ES在创建倒排索引时需要对文档分词在搜索时需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。故需要更好的分词策略:IK分词器
安装(安装到es-plugins/_data即可):IK分词器官方地址,重启es后IK分词器生效
ik分词器包含两种模式
ik_smart最少切分粗粒度ik_max_word最细切分细粒度 IK分词器-拓展词库
IK分词器虽然说按照字典查找词语进行组合,但是随着网络文化发展和新词的逐渐产生,IK分词器不可能马上更新这些词汇,这时候就需要进行拓展词汇库和增加禁用词汇
要拓展ik分词器的词库只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件
在ext.dic文件中添加拓展词汇 在stopword.dic文件下添加禁用词汇 三.索引库操作
mapping属性
mapping是对索引库中文档的约束常见的mapping属性包括 type字段数据类型常见的简单类型有 字符串text可分词的文本、keyword精确值例如品牌、国家、ip地址 数值long、integer、short、byte、double、float 布尔boolean 日期date 对象object index是否创建索引默认为true analyzer使用哪种分词器 properties该字段的子字段 创建索引库
PUT /索引库名称
{mappings: {properties: {字段名:{type: text,analyzer: ik_smart},字段名2:{type: keyword,index: false},字段名3:{properties: {子字段: {type: keyword}}},// ...略}}
}查看索引库语法
GET /索引库名 删除索引库的语法
DELETE /索引库名 修改索引库
索引库和mapping一旦创建无法修改但是可以添加新的字段语法如下
PUT /索引库名/_mapping
{properties: {新字段名:{type: integer}}
}四.文档操作
添加文档
POST /索引库名/_doc/文档id
{字段1: 值1,字段2: 值2,字段3: {子属性1: 值3,子属性2: 值4},// ...
}查看文档语法
GET /索引库名/_doc/文档id 删除文档
DELETE /索引库名/_doc/文档id 修改文档
方式一全量修改会删除旧文档添加新文档
PUT /索引库名/_doc/文档id
{字段1: 值1,字段2: 值2,// ... 略
}方式二增量修改修改指定字段值
POST /索引库名/_update/文档id
{doc: {字段名: 新的值,}
}
文档操作-动态映射
当我们向ES中插入文档时如果文档中字段没有对应的mappingES会帮助我们字段设置mapping规则如下 五.RestClient操作索引库
什么是RestClient ES官方提供了各种不同语言的客户端用来操作ES。这些客户端的本质就是组装DSL语句通过http请求发送给ES。
使用:
1.初始化RestClient
1.引入es的RestHighLevelClient依赖 dependencygroupIdorg.elasticsearch.client/groupIdartifactIdelasticsearch-rest-high-level-client/artifactId/dependency2.可以发现客户端的版本号,引入的依赖版本必须和客户端一致(不一致则需修改) 修改版本号 propertiesjava.version1.8/java.versionelasticsearch.version客户端版本号/elasticsearch.version/properties3.初始化RestHighLevelClient private RestHighLevelClient client;//测试类中使用BeforeEach注解来标记一个方法该方法将在每个测试方法执行之前执行(AfterEach同理)BeforeEachvoid setUp(){this.clientnew RestHighLevelClient(RestClient.builder(HttpHost.create(自己的Linux局域网ip地址:9200)));}AfterEachvoid tearDown() throws IOException {this.client.close();}2.创建索引库 Testvoid testCreateHotelIndex() throws IOException {CreateIndexRequest request new CreateIndexRequest(索引库名);request.source(DSL语句, XContentType.JSON);client.indices().create(request, RequestOptions.DEFAULT);}其中:indices()包含了所有操作索引库的API
3.删除索引库 Testvoid testDeleteHotelIndex() throws IOException { // 1.创建Request对象DeleteIndexRequest request new DeleteIndexRequest(索引库名);// 2.发起请求client.indices().delete(request, RequestOptions.DEFAULT);
}4.判断索引库是否存在 Testvoid testExistsHotelIndex() throws IOException { // 1.创建Request对象 GetIndexRequest request new GetIndexRequest(索引库名); // 2.发起请求 boolean exists client.indices().exists(request, RequestOptions.DEFAULT); // 3.输出 System.out.println(exists);
}
六.RestClient操作文档
1.新增文档
IndexRequest request new IndexRequest(索引库名).id(设置id);request.source(JSON文档, XContentType.JSON);client.index(request, RequestOptions.DEFAULT);2.查询数据
GetRequest request new GetRequest(索引库名, id); GetResponse response client.get(request, RequestOptions.DEFAULT); String json response.getSourceAsString();3.修改数据
UpdateRequest request new UpdateRequest(索引库名,id);request.doc(键1,值1,键2,值2...);client.update(request, RequestOptions.DEFAULT);4.删除数据
DeleteRequest request new DeleteRequest(索引库名,id);client.delete(request, RequestOptions.DEFAULT);5.批量插入数据
request.add(new IndexRequest(索引库名).id(id1).source(JSON文档1, XContentType.JSON));
request.add(new IndexRequest(索引库名).id(id2).source(JSON文档2, XContentType.JSON));
request.add(new IndexRequest(索引库名).id(id3).source(JSON文档3, XContentType.JSON));
//request可以添加多个IndexRequest
client.bulk(request, RequestOptions.DEFAULT);七.DSL查询文档
DSL Query的分类
Elasticsearch提供了基于JSON的DSLDomain Specific Language来定义查询。常见的查询类型包括
查询所有查询出所有数据一般测试用。例如match_all全文检索full text查询利用分词器对用户输入内容分词然后去倒排索引库中匹配。例如 match_querymulti_match_query 精确查询根据精确词条值查找数据一般是查找keyword、数值、日期、boolean等类型字段。例如 idsrangeterm 地理geo查询根据经纬度查询。例如 geo_distancegeo_bounding_box 复合compound查询复合查询可以将上述各种查询条件组合起来合并查询条件。例如 boolfunction_score 查询的基本语法如下
GET /indexName/_search
{query: {查询类型: {查询条件: 条件值}}
}全文检索查询
match查询全文检索查询的一种会对用户输入内容分词然后去倒排索引库检索语法
GET /indexName/_search
{query: {match: {FIELD: TEXT}}
}multi_match与match查询类似只不过允许同时查询多个字段语法
GET /indexName/_search
{query: {multi_match: {query: TEXT,fields: [FIELD1, FIELD12]}}
}需要注意的是:根据多个字段查询参与查询字段越多查询性能越差,建议使用多个字段拷贝到一个字段进行多字段的查询
精确查询
精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有
term根据词条精确值查询range根据值的范围查询
term查询
// term查询
GET /indexName/_search
{query: {term: {FIELD: {value: VALUE}}}
}range查询
// range查询
GET /indexName/_search
{query: {range: {FIELD: {gte: 10,lte: 20}}}
}地理查询
geo_bounding_box(不常用)查询geo_point值落在某个矩形范围的所有文档
// geo_bounding_box查询
GET /indexName/_search
{query: {geo_bounding_box: {FIELD: {top_left: {lat: 31.1,lon: 121.5},bottom_right: {lat: 30.9,lon: 121.7}}}}
}geo_distance(常用)查询到指定中心点小于某个距离值的所有文档
// geo_distance 查询
GET /indexName/_search
{query: {geo_distance: {distance: 15km,FIELD: 31.21,121.5}}
}复合查询 复合compound查询复合查询可以将其它简单查询组合起来实现更复杂的搜索逻辑例如
fuction score算分函数查询可以控制文档相关性算分控制文档排名。例如百度竞价
当我们利用match查询时文档结果会根据与搜索词条的关联度打分_score返回结果时按照分值降序排列。
常见的三个算分函数: TF-IDF在elasticsearch5.0之前会随着词频增加而越来越大
BM25在elasticsearch5.0之后会随着词频增加而增大但增长曲线会趋于水平
Function Score Query
使用 function score query可以修改文档的相关性算分query score根据新得到的算分排序。 function score query定义的三要素:
过滤条件哪些文档要加分算分函数如何计算function score加权方式function score 与 query score如何运算
复合查询 Boolean Query 布尔查询是一个或多个查询子句的组合。子查询的组合方式有
must必须匹配每个子查询类似“与”should选择性匹配子查询类似“或”must_not必须不匹配不参与算分类似“非”filter必须匹配不参与算分
例子:搜索名字包含“如家”价格不高于400在坐标31.21,121.5周围10km范围内的酒店。
GET /hotel/_search
{query: {bool: {must: [{match: {name: 如家}}],must_not: [{range: { price: {gt: 400}}}],filter: [{geo_distance: {distance: 10km, location: {lat: 31.21, lon: 121.5}}}]}}
}搜索结果处理
1.排序 elasticsearch支持对搜索结果排序默认是根据相关度算分_score来排序。可以排序字段类型有keyword类型、数值类型、地理坐标类型、日期类型等。
GET /indexName/_search
{query: {match_all: {}},sort: [{FIELD: desc // 排序字段和排序方式ASC、DESC}]
}GET /indexName/_search
{query: {match_all: {}},sort: [{_geo_distance : {FIELD : 纬度经度,order : asc,unit : km}}]
}2.分页 elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。
elasticsearch中通过修改from、size参数来控制要返回的分页结果
GET /hotel/_search
{query: {match_all: {}},from: 990, // 分页开始的位置默认为0size: 10, // 期望获取的文档总数sort: [{price: asc}]
}深度分页问题(ES设定结果集查询的上限是10000)
针对深度分页ES提供了两种解决方案
search after分页时需要排序原理是从上一次的排序值开始查询下一页数据。官方推荐使用的方式。scroll原理将排序数据形成快照保存在内存。官方已经不推荐使用。
3.高亮 高亮就是在搜索结果中把搜索关键字突出显示。
原理是这样的
将搜索结果中的关键字用标签标记出来
在页面中给标签添加css样式
语法
GET /hotel/_search
{query: {match: {FIELD: TEXT}},highlight: {fields: { FIELD: {// 指定要高亮的字段pre_tags: em, // 用来标记高亮字段的前置标签post_tags: /em // 用来标记高亮字段的后置标签}}}
}八.RestClient检索查询文档
需要说明的是,这里的RestClient查询文档不同于上面使用的GetRequest查询,GetRequest查询是简单查询,传入的参数只限制以下几个: 1.match_all查询 Test
void testMatchAll() throws IOException {SearchRequest request new SearchRequest(hotel);request.source().query(QueryBuilders.matchAllQuery());SearchResponse response client.search(request, RequestOptions.DEFAULT);SearchHits searchHits response.getHits();long total searchHits.getTotalHits().value;System.out.println(共搜索到 total 条数据);SearchHit[] hits searchHits.getHits();for (SearchHit hit : hits) {String json hit.getSourceAsString();HotelDoc hotelDoc JSON.parseObject(json, HotelDoc.class);System.out.println(hotelDoc hotelDoc);}}可以把request.source()理解为查询的整体,在source()下又有sort(),highlighter(),size(),from(),query()等等,这些方法均是已经学习过的DSL查询的query()的平级,即RestAPI中其中构建DSL是通过HighLevelRestClient中的resource()来实现的其中包含了查询、排序、分页、高亮等所有功能
RestAPI中其中构建查询条件的核心部分是由一个名为QueryBuilders的工具类提供的其中包含了各种查询方法 2.全文检索查询
全文检索的match和multi_match查询与match_all的API基本一致。差别是查询条件也就是query的部分。同样是利用QueryBuilders提供的方法
其实就是query里面的参数不同,对应到java代码中就是QueryBuilders调用的API不同而已
// 单字段查询
QueryBuilders.matchQuery(字段, 字符串);
// 多字段查询
QueryBuilders.multiMatchQuery(字符串, 字段1, 字段2);3.精确查询
精确查询常见的有term查询和range查询
// 词条查询
QueryBuilders.termQuery(字段, 字符串);
// 范围查询
QueryBuilders.rangeQuery(字段).gte(xxx).lte(xxx);4.复合查询-boolean query 精确查询常见的有term查询和range查询,由于在DSL语句中bool包含了多个属性,故需要先创建一个BoolQueryBuilder对象,依次向对象中添加条件属性
// 创建布尔查询
BoolQueryBuilder boolQuery QueryBuilders.boolQuery();
// 添加must条件
boolQuery.must(QueryBuilders.termQuery(字段, 字符串));
// 添加filter条件
boolQuery.filter(QueryBuilders.rangeQuery(字段).lte(xxx));
//添加must_not条件
boolQuery.mustNot((QueryBuilders.xxx);5.排序和分页 搜索结果的排序和分页是与query同级的参数,故改变source()调用的API即可
request.source().from(起始页码).size(每页显示条数);request.source().sort(字段, SortOrder.ASC);//升序6.高亮
request.source().highlighter(new HighlightBuilder() .field(字段) // 是否需要与查询字段匹配 .requireFieldMatch(false)//不填写pre_tags和post_tags属性默认为em标签
);高亮的结果处理(其实就是获取每一个hit里面的highlight值,就可以取出高亮字段中的值了):
