邦策网站建设,在linux系统上用什么做网站,互联网运营,网站建设课程任务一、数据类型
1、Text #xff08;文本数据类型#xff09;
2、Keyword#xff08;关键字数据类型#xff09;
3、Alias#xff08;别名类型#xff09;
4、Arrays (集合类型)
5、Boolean#xff08;布尔类型#xff09;
6、日期类型
7、Numeric #xff08;数…一、数据类型
1、Text 文本数据类型
2、Keyword关键字数据类型
3、Alias别名类型
4、Arrays (集合类型)
5、Boolean布尔类型
6、日期类型
7、Numeric 数值数据类型
8、IP 数据类型
9、Range (范围数据类型)
10、Binary (二进制类型)
11、Object (对象数据类型)
12、Dense vector (密集矢量数据类型)
13、Flattened (扁平化数据类型)
14、Geo-point (地理位置数据类型)
15、Join (链接数据类型)
16、Nested (嵌套数据类型)
17、Token count (令牌计数数据类型)
二、索引
1、正排索引和倒排索引的区别
正排索引是文档(ID)到关键词的映射从文档找关键词
倒排索引是关键词到文档ID的映射从关键词到文档
三、分词
1、分词是将文本字符串拆分成独立的词汇和术语的过程。
四、分词器
1、Character Filters字符过滤器对原始文本进行预处理对文本修改或者删除等。比如删除html标签、特定词替换等。
2、Tokenizer (分词器)对字符过滤器处理过的文本切分成一个个词条形成词条流。切分规则可以是空格、标点符号等。
3、Token Filters词汇过滤器对切分后的词条进一步处理大小写替换、启用停用词没有意义的词。词汇过滤器处理文本以适应索引和查询需求非常重要。
五、常见分词器
1、Standard Analyzer分词依据空格、标点符号特点小写化处理过滤符号
2、Whitespace Analyzer (分词依据空格)特点不进行小写处理、保留所有字符
3、Keyword Analyzer (分词依据无)特点将这个输入作为一个词条
4、Simple Analyzer分词依据非字母符号、数字特点小写化处理、过滤符号、支持中文拼音分词
5、Stop Analyzer (分词依据空格)特点小写化处理过滤停用词
6、IK Analyzer分词依据词典特点中文分词
7、Edge Ngram Analyzer分词依据n-gram特点按指定步长进行分词
8、Pattern Analyzer 分词依据正则匹配字符特点灵活
9、Custom Analyzer (分词依据自定义)特点灵活
