农安县建设局网站,个人网站可以做网上支付吗,怎么申请域名和备案,免费在线网页代理【Spring Cloud系统】- Zookeer特性与使用场景
一、概述
Zookeeper是一个分布式服务框架#xff0c;是Apache Hadoop的一个子项目#xff0c;它主要是用来解决分布式应用中经常遇到的一些数据管理问题。如#xff1a;统一命名服务、状态同步服务、集群管理、分布式应用配置…【Spring Cloud系统】- Zookeer特性与使用场景
一、概述
Zookeeper是一个分布式服务框架是Apache Hadoop的一个子项目它主要是用来解决分布式应用中经常遇到的一些数据管理问题。如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 简单来说zookeeper 文件系统 监听通知机制 二、Zookeeper是什么
ZooKeeper是分布式协调服务的开源架构可以用来解决分布式集群中应用系统的一致性问题例如怎样避免同时操作同一数据造成脏读的问题也是为分布式程序提供协调服务的Apache项目。ZooKeeper本质上是一个分布式的小文件存储系统提供基于类似于文件系统目录树方式的数据存储并且可以对树中的节点进行有效管理从而用来维护和监控你存储的数据的状态变化通过监控数据状态的变化从而可以达到基于数据的集群管理诸如统一命名服务、分布式配置管理、负载均衡、分布式锁、分布式协调等功能。
三、Zookeeper有哪些数据结构
ZooKeeper可以理解一个文件系统ZooKeeper数据模型的结构与Unix文件系统很类似整体上可以看作是一棵树每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据每个ZNode都可以通过其路径唯一标识。
3.1 数据结构图 如上图的每个节点称为一个Znode。每个Znode由3部分组成。
stat: 此为状态信息描述该Znode的版本权限等信息。data: 与该Znode关联的数据children: 该Znode下的子节点
3.2 节点类型
Znode有两种分别为临时节点和永久节点。
节点的类型在创建时既被确定并且不能改变。
临时节点该节点的生命周期依赖于创建它们的会话一旦会话结束临时节点将被自动删除当然可以也可以手动删除。临时节点不允许拥有子节点。
永久节点该节点的生命周期不依赖于会话并且只有在客户端显示执行删除操作的时候他们才能被删除。
Znode还有一个序列化的特性如果创建的时候指定的话该Znode的名字后面会自动追加一个不断增加的序列号。序列号对于此节点的父节点来说是唯一的这样便于记录每个子节点创建的先后顺序。它的格式为%10d(10位数字没有数值的数位用0补充例如“000000001”)。
因为有序列化属性这样Zookeeper便有四种类型的Znode节点分别对应
PERSISTENT永久节点EPHEMERAL临时节点PERSISTENT_SEQUENTIAL永久节点、序列化EPHEMERAL_SEQUENTIAL临时节点、序列化
3.3 节点类型
每个znode都包含了一系列的属性通过命令get可以获得节点的属性。 dataVersion数据版本号每次对节点进行set操作dataVersion的值都会增加1即使设置的是相同的数据可有效避免了数据更新时出现的先后顺序问题。 cversion 子节点的版本号。当znode的子节点有变化时cversion 的值就会增加1。 cZxid Znode创建的事务id。 mZxid Znode被修改的事务id即每次对znode的修改都会更新mZxid。 对于zk来说每次的变化都会产生一个唯一的事务idzxidZooKeeper Transaction Id。通过zxid可以确定更新操作的先后顺序。例如如果zxid1小于zxid2说明zxid1操作先于zxid2发生zxid对于整个zk都是唯一的即使操作的是不同的znode。 ctime节点创建时的时间戳。 mtime节点最新一次更新发生时的时间戳 ephemeralOwner:如果该节点为临时节点, ephemeralOwner值表示与该节点绑定的session id. 如果不是, ephemeralOwner值为0。
四、Zookeeper有哪些核心功能
4.1 保证数据一致性
保证数据的一致性有两种情况:
重新选取出leader后的数据同步。leader处理完事务请求后与follow保持数据一致。
首先是重新选取出新leader后的数据同步
通过FastLeaderElection选举算法选出leader选出leader之后leader需要与其他节点进行同步当超过一半的follow与leader进行同步完成后leader才能成为真正的leader,然后follow会带上自己最大的ZXID尝试与leader连接来确定数据是否同步。
其次是leader处理完成事务请求后与follow保持数据一致
事务请求全部是由leader处理的当leader收到请求后会将事务请求转化为事务Proposal由于leader会为每一个follow创建一个队列所以leader会将事务放入响应队列中按顺序处理事务请求来保证事务的顺序性。之后会在队列中顺序向其他节点广播该提案。follow收到后会将其以事务的形式写入到本地日志中并向leader发送反馈ackleader会等待其他follow的回复当收到一半以上的follow响应时leader会向其他节点发送commit消息同时leader提交该提案。当follow将数据同步完成之后leader会将该follow加入到真正可用的follow列表中。
4.2 更新和监听
ZooKeeper支持watch的概念。客户端可以在znode上设置监视当znode有事件发生时通知给感兴趣的客户端。通知变化时收到通知。非常适用于保障分布式情况下的数据一致性。dubbo中使用zk作为注册中心等都用到了zk的更新监听功能。
五、Zookeeper有哪些权限控制
ZooKeeper通过ACL权限控制列表来控制其对znode节点的访问权限。ACL权限与Unix文件系统中的权限控制类似使用权限位限制指定角色对znode节点的各节点操作下面详细介绍ZooKeeper中ACL权限控制。
5.1 权限列表
zookeeper中对znode节点的操作权限主要有以下五种我们可以通过其简写的任意组合来实现对znode节点的不同权限控制。
名称简写权限说明CREATEc允许创建当前节点下的字节点DELETEd允许删除当前节点下的子节点仅限下一级READr允许读取节点数据以及显示子节点的列表WRITEw允许设置当前节点的数据ADMINa管理员权限允许设置或读取当前节点的权限列表
5.2 ACL权限特点
Zookeeper权限控制有以下几个特点
zookeeper的权限是基于znode节点的需要对每个节点设置权限。znode节点支持同时设置多种权限方案和多个权限。当znode有多种权限的时候只要有一个权限允许当前操作即可执行当前操作即多个权限之间为或的关系。子节点不会继承父节点的权限客户端没有权限访问当前节点但是可以访问当前节点的子节点。使用setAcl命令对节点进行权限设置会覆盖掉原来的权限。
六、Zookeeper数据持久化
ZooKeeper数据的组织形式为一个类似文件系统的数据结构而这些数据都是存储在内存中的所以我们可以认为ZooKeeper是一个基于内存的小型数据库。
如果数据只存储在内存中的话那么在ZooKeeper宕机或者断电的情况下数据将会丢失所以ZooKeeper也制定了一些数据持久方式
事务日志log数据快照snapshot
6.1 事务日志log文件
针对每一次客户端的事务操作写,ZooKeeper都会将他们记录到事务日志中当然ZooKeeper也会将数据变更应用到内存数据库中我们可以在ZooKeeper的主配置文件zoo.cfg中配置内存中的数据持久化目录也就是事务日志存储路径dataLogDir。如果没有配置dataLogDir非必填事务日志将存储到dataDir必须填。
6.2 事务日志log文件
数据快照是ZooKeeper数据存储中另–个非常核心的运行机制。顾名思义数据快照用来记录ZooKeeper服务器上某一个时刻的全量内存数据内容并将其写入到指定的磁盘文件中。
文件存储
快照文件存储在dataDir属性配置的目录下。
和事务日志文件的命名规则一致快照数据文件也是使用ZXID的十六进制表示来作为文件名后缀该后缀标识了本次数据快照开始时刻的服务器最新ZXID。这个十六进制的文件后缀非常重要在数据恢复阶段ZooKeeper会根据该ZXID来确定数据恢复的起始点。
和事务日志文件不同的是ZooKeeper的快照数据文件没有采用“预分配”机制因此不会像事务日志文件那样内容中可能包含大量的“0”。每个快照数据文件中的所有内容都是有效的因此该文件的大小在一定程度上能够反映当前ZooKeeper内存中全量数据的大小。
七、总结
Zookeeper作为一个分布式协调服务由于其通用性所以在众多软件开发中被使用。它一般包括存储数据和监听功能主要提供节点选举、统一配置文件管理、发布和订阅消息、集群管理等功能。在以后的博文中讲详细讲解每个部分详细使用。
