网站初期如何推广,网页设计素材怎么保存到文件夹,办公室,太原网站推广只选中联传媒介绍
通常用于将文档中的文本数据拆分成易于索引的词项#xff08;tokens#xff09;。有时#xff0c;默认的分词器无法满足特定应用需求#xff0c;这时就可以创建 自定义分词器 来实现定制化的文本分析。
自定义分词器组成 Char Filters#xff08;字符过滤器#x…介绍
通常用于将文档中的文本数据拆分成易于索引的词项tokens。有时默认的分词器无法满足特定应用需求这时就可以创建 自定义分词器 来实现定制化的文本分析。
自定义分词器组成 Char Filters字符过滤器 字符过滤器在文本被传给分词器之前先对字符进行预处理。常见的处理包括去除特殊字符、替换字符、转换字符等。 例如html_strip 字符过滤器可以去除 HTML 标签mapping 字符过滤器可以将某些字符映射为其他字符。 Tokenizer分词器 将输入的文本拆分成一个个词项tokens。 常见的分词器有 standard、keyword、pattern、whitespace 等也可以自定义一个分词器来根据特定规则进行分割。 Token Filters词项过滤器 词项过滤器用于对分词后的词项进行进一步的处理如小写化、去除停用词、词干提取等。 例如lowercase 过滤器将所有词项转为小写stop 过滤器会去除常见的无意义词如 “a”, “the” 等。
注意事项
倒排索引在构建倒排索引时拼音分词器可以将每个词语转化为拼音并为每个拼音索引相关的文档。这种方法依赖于拼音本身因此在创建索引时拼音是一个便于检索和存储的统一标准。然而这种方法并不考虑具体的字或词的实际含义。搜索时的查询在搜索过程中用户通常会直接输入汉字而不是拼音而且搜索时往往依赖的是汉字的实际语义。如果使用拼音进行搜索可能会出现同音字或多音字的歧义导致用户查询无法准确匹配目标内容。例如拼音 “mā” 可以代表“妈”、“马”或“麻”但用户搜索的汉字可能是“马”而不是“妈”此时拼音搜索就会产生误差。 这时候搜索和创建应该使用不同的分词器。所以就需要使用自定义分词器。自定义分词器在创建索引库的时候就应该创建。 创建自定义分词器的索引库
PUT http://172.23.4.130:9200/goods
{settings: {analysis: {analyzer: {mx_analyzer: { // 定义自定义分析器名称为 mx_analyzertokenizer: ik_max_word, // 使用 ik_max_word 分词器进行中文最大化分词filter: py // 使用拼音过滤器 py 进行拼音转换}},filter: {py: { // 配置拼音过滤器type: pinyin, // 设置为拼音类型的过滤器keep_full_pinyin: false, // 不保留完整拼音仅保留简拼keep_joined_full_pinyin: true, // 保留拼音连在一起例如“北京”变为“bj”keep_original: true, // 保留原始中文词汇limit_first_letter_length: 16, // 限制拼音首字母的长度为16remove_duplicated_term: true, // 删除重复的拼音词项none_chinese_pinyin_tokenize: false // 不进行非中文拼音的分词处理}}}},mappings: {properties: {title: { // title字段配置type: text, // 使用 text 类型适合进行分词的文本字段analyzer: mx_analyzer, // 使用自定义的 mx_analyzer 分析器进行分词search_analyzer: ik_smart // 搜索时使用 ik_smart 分析器进行分析简化分词},transport: { // transport字段配置type: double // 使用 double 类型用于数值数据浮动小数}}}
}拼音分词库文档https://github.com/medcl/elasticsearch-analysis-pinyin 添加测试数据
POST http://172.23.4.130:9200/goods/_doc/n
{title: 广东梅州盐焗鸡中翅客家特产盐局鸡翅中网红零食小吃熟食
}测试搜索
GET http://172.23.4.130:9200/goods/_search 不管使用中文还是英文 全拼还是简写 都可以正常搜索出该商品
{query:{match:{title:yjj}}
}搜索的自动补全
Elasticsearch 提供了Completion suggester查询来实现自动补全功能。这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询的效率对于文档中字段的类型有一些约束。
参与补全查询的字段必须是completion类型字段的内容一般是用来补全的多个词条形成的数组也就是提示词语
{settings: {analysis: {analyzer:{mx_analyzer:{tokenizer:ik_max_word,filter:py},completion_analyzer:{ //自定义分词器tokenizer:keyword,filter:py}},filter: {py: {type: pinyin,keep_full_pinyin:false,keep_joined_full_pinyin:true,keep_original:true,limit_first_letter_length:16,remove_duplicated_term:true,none_chinese_pinyin_tokenize:false}}} },mappings:{properties:{title: {type: text,analyzer: mx_analyzer,search_analyzer:ik_smart},suggestion:{ //搜索的自动补全type:completion,analyzer:completion_analyzer}}}
}创建搜索关键字 PUT http://172.23.4.130:9200/goods/_doc/1
{title: 客家散养土猪原味腊肠香肠广东梅州特产咸香,suggestion:[土猪,腊肠,香肠,散养]
}自动补全查询 GET http://172.23.4.130:9200/goods/_search
{suggest: {title_suggest: { // title_suggest 自定义名称text: l, // 搜索的文本completion: { // 使用completion 进行自动补全field: suggestion, // 指定用于自动补全的字段名skip_duplicates: true, // 跳过重复的建议size: 15 // 返回的最大数量}}}
}对应Java代码
SearchRequest request new SearchRequest(GOODS_INDEX);
request.source().suggest(new SuggestBuilder().addSuggestion(title_suggest,SuggestBuilders.completionSuggestion(suggestion).prefix(text).skipDuplicates(true).size(15)));依赖
版本7.12.1 dependencygroupIdorg.elasticsearch.client/groupIdartifactIdelasticsearch-rest-high-level-client/artifactId/dependency配置文件
application.yaml
es:ip: 172.23.4.130port: 9200user: elasticpassword: qwertyuiop配置类
Component
ConfigurationProperties(prefix es)
Data
public class ElasticsearchProperties {private String ip;private int port;private String user;private String password;}配置连接
Configuration
RequiredArgsConstructor
public class ElasticsearchConfig {private final ElasticsearchProperties elasticsearchProperties;Beanpublic RestHighLevelClient restHighLevelClient() {// 配置基本认证CredentialsProvider credentialsProvider new BasicCredentialsProvider();credentialsProvider.setCredentials(new AuthScope(elasticsearchProperties.getIp(), elasticsearchProperties.getPort()),new UsernamePasswordCredentials(elasticsearchProperties.getUser(), elasticsearchProperties.getPassword()));RestClientBuilder builder RestClient.builder(new HttpHost(elasticsearchProperties.getIp(), elasticsearchProperties.getPort(), http));builder.setHttpClientConfigCallback(httpClientBuilder - {return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);});// 创建并返回 RestHighLevelClient 实例return new RestHighLevelClient(builder);}
}JSON格式化
将JSON转成实体类
public class EsUtils {public static TListT toList(SearchHit[] hits, ClassT clazz) {ListT retList new ArrayList();for (SearchHit item : hits) {String json item.getSourceAsString(); // 获取 JSON 字符串T obj JSONUtil.toBean(json, clazz); // 使用 Hutool 将 JSON 转换为对象retList.add(obj);}return retList; // 返回结果列表}
}搜索自动补全API
/*** 商品搜索框的自动补全* param text* return*/
Override
SneakyThrows
public ListString suggestion(String text) {String Custom_Name title_suggest;ListString list new ArrayList();SearchRequest request new SearchRequest(GOODS_INDEX);request.source().suggest(new SuggestBuilder().addSuggestion(Custom_Name,SuggestBuilders.completionSuggestion(suggestion).prefix(text).skipDuplicates(true).size(15)));SearchResponse response client.search(request,RequestOptions.DEFAULT);Suggest suggest response.getSuggest();CompletionSuggestion suggestion suggest.getSuggestion(Custom_Name);ListCompletionSuggestion.Entry.Option options suggestion.getOptions();for (CompletionSuggestion.Entry.Option option :options){list.add(option.getText().toString());}return list;
}
