微信网站建设哪家好,做黑网站赚钱,企业管理信息系统的功能,工业信息化部网站备案查询ES的基本概念
一、文档
1.1 文档相关概念
ES是面向文档的#xff0c;文档是所有可搜索数据的最小单位#xff0c;可以对比理解为关系型数据库中的一条数据 日志文件中的一条日志信息一本电影的具体信息/一张唱片的详细信息 文档会被序列化成JSON格式保存在ES中 JSON对象由…ES的基本概念
一、文档
1.1 文档相关概念
ES是面向文档的文档是所有可搜索数据的最小单位可以对比理解为关系型数据库中的一条数据 日志文件中的一条日志信息一本电影的具体信息/一张唱片的详细信息 文档会被序列化成JSON格式保存在ES中 JSON对象由字段组成每个字段都有对应的字段类型格式比较灵活不需要预先定义字段的类型可以指定在索引中的Mapping中指定也可通过ES自动推算支持数组和嵌套 每个文档都有一个Unique ID 可以自定义ID也可以通过ES自动生成
1.2 文档的元数据 元数据用于标注文档的相关信息 _index文档所属的索引名_type文档所属的类型名7.0开始每个索引只能创建一个type_id文档的唯一ID_source文档原始的JSON数据_all整合所有的字段内容7.0以后已经废除_version文档的版本信息在高并发的情况下会判断文档版本后再进行写入_score相关性打分 {_index : movies,_type : doc,_id : 1,_score : 14.69302,_source : {year : 1995,version : 1,genre:[Adventure,Animation,Children,Comedy,Fantasy],id:1,title:Toy Story}
}二、索引
2.1 索引的基本概念
索引是文档的容器是一类文档的集合可以理解为关系型数据库中的表 索引index体现了逻辑空间的概念每个索引都有自己的mapping定义用于定义包含的文档的字段名和字段类型 索引的Mapping定于文档字段的类型Setting定义不同的数据分布 分片shard体现了物理空间的概念索引中的数据分散在Shard上
2.2 与关系型数据库对比
关系型数据库ESTableIndexRowDocumentColumnFieldSchemaMappingSQLDSL
三、节点
3.1 节点的基本概念
ES支持分布式部署其分布式架构支持存储的水平扩容并且提高了系统的可用性部分节点停止服务整个集群的服务不受影响。
ES的分布式架构不通的集群通过不通的名字来区分默认集群的名称为elasticsearch通过配置文件的修改或者直接在启动命令中指定 -E cluster.namemymain进行设定一个集群支持一个到多个节点。 节点就是一个ES的实例 本质上就是一个Java进程一台机器上可以运行多个ES进程 每个节点都有一个名字通过配置文件配置或者启动的时候通过-E node.namenode1指定 每个节点在启动以后都会分配一个UUID保存到data目录下 Master节点的概念 每个节点启动后默认就是一个Master-eligible节点可以通过node.master:false禁止Master-eligible节点可以参加选主流程成为Master节点当第一个节点启动的时候它会将自己选举成Master节点每个节点上都保存了集群的状态只有Master节点才能修改集群的状态信息 集群状态维护了一个集群中必要的信息 所有的节点信息所有的索引和其相关的Mapping和Setting信息分片的路由信息 如果任意节点都能修改信息会导致数据的不一致性 Data节点 可以保存数据的节点叫做Data节点。负责保存分片数据在数据扩展上起到了至关重要的作用 Coordinating节点 负责接受Client的请求将请求分发到合适的节点最终把结果汇集到一起 每个节点都默认起到Coodinating节点的职责 问题当一个机器上启动多个实例的时候谁是Master节点谁是Data节点谁是Coordinating节点谁提供的9200端口 Ingest节点 主要用于对数据进行预处理。Ingest节点类似于Logstash中的Filter可以对数据进行解析、转换和过滤等操作。当数据到达Ingest节点时它会先对数据进行预处理然后再将数据发送到Elasticsearch的Data节点进行索引和存储。 HotWarm节点 不通硬件配置的Data Node用来实现Host Warm架构降低集群部署的成本Hot节点这些节点通常用于存储和处理最新的、访问频率最高的数据也就是所谓的“热”数据。Hot节点通常配置有高性能的硬件如SSD固态硬盘以确保快速的数据写入和检索速度。由于这些数据是最常被访问的因此将它们存储在高性能的节点上可以确保最佳的用户体验。Warm节点与Hot节点相比Warm节点用于存储那些访问频率较低但仍然需要保留的数据。这些数据可能不再是最新的但仍然具有一定的价值需要被检索和分析。Warm节点通常配置有较低性能的硬件如HDD机械硬盘以降低存储成本。通过将不常访问的数据迁移到Warm节点可以释放Hot节点的存储空间使其能够更高效地处理新的、热门的数据。 Machine Learning 节点 负责跑机器学习的Job做数据的异常检测 Tribe节点 5.3 开始使用Cross Cluster SearchTribr Node连接到不通的ES集群并支持将这些集群当成一个单独的集群处理
3.2 配置节点类型 开发环境中一个节点可以承担多种角色 生产环境中应该设置单一的角色 节点类型配置参数默认值master eligiblenode.mastertruedatanode.datatruehotwarmnode.attr.box_type无ingestnode.ingesttruecoordinating only无每个节点默认都是coordinating节点设置其他类型全部为falsemachine learningnode.mltrue
四、分片
4.1 分片的基本概念 在Elasticsearch中分片Shard是数据的基本单位每个索引在创建时都会被分成多个分片。这些分片是数据的容器用于存储索引中的数据。每个分片实际上是一个独立的索引实例包含了数据的一个完全独立的物理副本这意味着每个分片都包含了数据的一个完整复制集。 分片的主要目的是为了在Elasticsearch集群中分发数据以提供高可用性和负载均衡。通过将数据分散到不同的分片上Elasticsearch可以在多个节点上并行处理数据从而提高性能和可扩展性。每个分片都可以独立扩展而不会影响其他分片的性能。此外Elasticsearch还支持动态分片分配这意味着可以自动将新的索引或文档分配到最合适的分片上。 在Elasticsearch中分片可以跨多个节点分布以提高数据的可用性和可扩展性。当集群扩容或缩小时Elasticsearch会自动在节点间迁移分片以使集群保持平衡。分片可以是主分片primary shard或者是复制分片replica shard主分片用于存储实际数据而复制分片则是主分片的副本用于提高数据的可靠性和可用性。 我们举例来说明分片的概念与作用 分片是把一个索引分成多个小部分的过程。还是用图书馆作为例子想象图书馆里的书太多了一个书架放不下于是你决定把书分散到多个书架上。每个书架就相当于一个分片。这样当你想要找书时你可以同时搜索多个书架从而加快搜索速度。
4.2 分片的规划
在Elasticsearch中分片的规划是非常重要的因为它直接影响到集群的性能、扩展性和数据安全性。以下是一些建议帮助你规划Elasticsearch中的分片
考虑数据量首先你需要估计索引的总数据量。这将帮助你决定需要多少个分片来存储这些数据。每个分片的大小应该控制在一定的范围内以避免过大或过小的分片导致性能问题。节点和分片的关系分片数应该与集群中的节点数相匹配。通常建议将分片数设置为节点数的2-3倍这样可以在节点故障时提供一定的容错能力。但是也要避免分片数过多以免给集群带来过大的压力。主分片和副本每个索引都应该有一个或多个主分片以及零个或多个副本分片。主分片用于存储实际数据而副本分片则是主分片的复制品用于提高数据的可靠性和查询性能。副本分片的数量可以根据你的需求进行调整通常建议设置为1-2个副本。动态调整随着数据量的增长和集群规模的变化你可能需要动态地调整分片数。Elasticsearch提供了重新索引和分片调整的功能允许你在不中断服务的情况下调整分片配置。监控和调优定期监控集群的健康状况、分片分布和性能指标是非常重要的。通过使用Elasticsearch提供的监控工具和API你可以了解集群的实时状态并根据需要进行调优。考虑分片键在创建索引时你需要选择一个合适的分片键。分片键的选择将决定数据如何被分配到不同的分片中。选择一个合适的分片键可以确保数据的均匀分布和查询性能的优化。
五、倒排索引
在了解倒排索引之前我们先讲解一下什么是正排索引正排索引就是根据ID查询具体的数据可以类比于一本书的目录我们可以快速的根据目录中的页码快速找到对应的内容而假如现在我们有一个关键词需要知道关键词所在页码那么就需要一个关键词和页码的一个索引来帮助我们根据关键词找到对应的页码这个索引就叫做倒排索引。
概念图书搜索引擎正排索引目录文档ID到文档内容和单词的关联倒排索引索引页单词到文档ID的关联
我们来举个正排索引和倒排索引的例子 正排索引 文档ID文档内容1Mastering ElasticSearch2ElasticSearch Server3ElasticSearch Client 倒排索引 关键词计数文档ID:位置Mastering11:1ElasticSearch31:2,2:1,3:1Server12:2Client13:2
倒排索引的组成
单词词典记录所有文档的单词记录单词到倒排列表的关联关系 单词词典一般比较大可以通过B树或者哈希链算法来实现以满足高性能的插入和查询 倒排列表记录单词对应的文档组合由倒排索引项组成 倒排索引项 文档ID词频TF该单词在文档中出现的次数用于相关性打分位置该单词在文档分词中的位置用于语句搜索偏移记录单词的开始结束位置用于高亮显示
