网站已经编辑好了 上线准备哪些工作,17做网站官网,网站建设分组任务,手机能用的网站文章目录 1. 思考四个问题#xff1a;1.1 topic中partition存储分布#xff1a;1.2 partiton中文件存储方式#xff1a;1.3 partiton中segment文件存储结构#xff1a;1.4 在partition中如何通过offset查找message: 2. kafka日志存储参数配置 Topic是逻辑上的概念#xff… 文章目录 1. 思考四个问题1.1 topic中partition存储分布1.2 partiton中文件存储方式1.3 partiton中segment文件存储结构1.4 在partition中如何通过offset查找message: 2. kafka日志存储参数配置 Topic是逻辑上的概念而partition是物理上的概念每个partition对应于一个log文件该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端为防止log文件过大导致数据定位效率低下不需要先查出来数据直接往最后追加也是kafka可以高效读写的原因之一Kafka采取了分片和索引机制将每个partition分为多个segment。segment默认大小为1GB 每个segment包括“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下该文件夹的命名规则为topic名称分区序号例如first-0。 1. 思考四个问题
topic中partition存储分布partiton中文件存储方式partiton中segment文件存储结构在partition中如何通过offset查找message
1.1 topic中partition存储分布
在Kafka文件存储中同一个topic下有多个不同partition每个partition为一个目录partiton命名规则为topic名称有序序号第一个partiton序号从0开始序号最大值为partitions数量减1。每个partition下面有多个segment。
1.2 partiton中文件存储方式
每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等这种特性方便old segment file快速被删除。每个partiton只需要支持顺序读写就行了segment文件生命周期由服务端配置参数决定。
1.3 partiton中segment文件存储结构
segment file由segment索引文件、数据文件2部分组成这两个文件一一对应后缀是”.index”和“.log”分别表示为segment索引文件、数据文件segment文件命名规则partion全局的第一个segment从0开始后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小19位数字字符长度没有数字用0填充。 1.4 在partition中如何通过offset查找message: segment的索引文件命令规则起始偏移量(offset)为0.后续每个segment文件名为上一个segment文件最后一条消息的offset值所以第二个文件00000000000000000522.index的文件名是上一个log中最大偏移量15211522其他后续文件依次类推只要根据offset 二分查找 文件列表就可以快速定位到具体文件。 当offset600时定位到00000000000000000522.index|log用index文件名上的数字相对offset计算log文件中数据存在的位置52265587522117639587 600 639所以Offset600的数据在position6410的位置往下顺扫。
segment index file采取稀疏索引存储方式不会为每条数据创建索引大大的减少索了引文件大小。
2. kafka日志存储参数配置
参数描述log.segment.bytesKafka 中 log 日志是分成一块块存储的此配置是指 log 日志划分成块的大小默认值 1G。log.index.interval.bytes稀疏索引间存储数据的大小默认 4kbkafka 里面每当写入了 4kb 大小的日志.log然后就往 index 文件里面记录一个索引。
