广告网站模板免费下载,做设计网站的工作,如何小企业网站建设,网页怎么弄近期#xff0c;国际权威数据库性能测试榜单 benchANT 更新了 Time Series: Devops#xff08;时序数据库#xff09;场景排名#xff0c;KaiwuDB 数据库在 xsmall 和 small 两类规格下的时序数据写入吞吐、查询吞吐、查询延迟、成本效益等多项指标刷新榜单原有数据纪录。在…近期国际权威数据库性能测试榜单 benchANT 更新了 Time Series: Devops时序数据库场景排名KaiwuDB 数据库在 xsmall 和 small 两类规格下的时序数据写入吞吐、查询吞吐、查询延迟、成本效益等多项指标刷新榜单原有数据纪录。在这些性能提升的背后KaiwuDB 究竟都做了哪些技术创新小 K 将逐一为你揭秘
今天我们先来了解 KaiwuDB 写入吞吐背后的 3 大核心技术
空间预分配
在传统的数据存储模式中锁机制在多线程并发写入时往往会引发频繁的锁竞争开销。线程在获取锁和释放锁的过程中需要进行上下文切换这一过程涉及到保存当前线程状态、恢复被阻塞线程状态等操作会消耗大量的 CPU 时间。同时等待锁释放的线程处于阻塞状态无法执行其他任务导致整体资源利用率降低严重影响写入效率。
空间预分配是一项针对数据文件管理的优化技术它通过在数据写入前预先分配空间减少数据写入时文件的动态扩容以提升写入性能。在 KaiwuDB 中Segment 是构成数据文件的最小单元它为数据写入提供了稳定的内存空间减少了因动态内存分配带来的性能开销。其默认设定可存储 100 万行数据并且这一数值能够依据实际需求灵活配置。
KaiwuDB 时序存储引擎中的 Segment 管理方式巧妙规避了传统数据存储模式中遇到的问题。由于 Segment 在磁盘上已预留出空间且 Segment 内数据读写无锁各个线程能够在不同的 Segment 中并行地进行数据写入操作无需相互等待获取锁资源。Segment 内数据读写无锁机制是提高写入吞吐的关键因素之一。当多个设备同时产生时序数据需要写入数据库时不同设备的数据可直接写入各自对应的 Segment 中避免了线程间因锁竞争而产生的延迟。这种并行处理能力使得写入操作能够充分利用系统资源极大地提高了整体的写入吞吐量。
Segment 以 Block 格式进行组织如上图所示。在写入时每个 Block 前记录了该 Block 的聚合信息以提升聚合查询时的效率。Block 元数据记录在同级目录下的 .meta 文件中该文件以链表的形式记录了哪些 Block 属于哪个设备。这种 Block 组织形式不仅有利于在写入阶段高效地整合数据同时在进行聚合查询时基于 Block 前的聚合信息能够快速定位和处理相关数据块减少不必要的数据扫描和计算显著提升查询响应速度对提升 KaiwuDB 时序引擎的写入吞吐具有至关重要的意义。
内存映射mmap机制
传统的 I/O 系统调用如 read、write在进行文件读写操作时数据需要在用户空间和内核空间之间进行多次拷贝。例如当执行 write 系统调用写入数据时数据首先从用户空间的应用程序缓冲区拷贝到内核空间缓冲区然后再由内核将数据写入到磁盘中。这种数据拷贝操作涉及大量的 CPU 资源消耗和上下文切换开销每次拷贝都需要 CPU 介入来协调用户空间和内核空间之间的数据转移上下文切换也会导致一定的性能损耗。
如图所示 KaiwuDB 使用 mmap 机制实现了时序数据的持久化通过将文件内容直接映射到进程的地址空间大幅减少了数据在用户空间和内核空间之间的拷贝次数。
当应用程序需要写入数据时它可以直接对映射到内存中的地址空间进行操作就如同操作普通的内存区域一样。数据在写入内存映射区域后由操作系统的页缓存机制负责将数据定期或在合适的时机刷写到磁盘中。这样一来大部分情况只需进行一次内存拷贝从应用程序缓冲区到内核页缓存相比于传统的多次拷贝方式大大减少了 CPU 资源的占用降低了上下文切换的频率从而显著提高了写入操作的效率。
此外mmap 机制可利用操作系统的页缓存机制来优化文件访问。页缓存作为操作系统用于缓存文件数据的内存区域能够提高数据访问的速度和一致性。当数据被写入内存映射区域时实际上是先写入到页缓存中后续如果有对相同数据的读取操作可以直接从页缓存中获取避免了再次从磁盘读取数据的开销。这种缓存机制在频繁进行写入和读取操作的时序数据库场景中尤为重要它使得数据的读写操作能够更快地完成进一步提升了整体的写入吞吐能力。
写入不排序
传统的数据库操作中数据写入时往往需要维护严格的数据顺序这涉及到复杂的排序算法和数据移动操作。同时物联网时序场景下的数据特征显著其中写入频率远远超过读取频率并且大部分数据为顺序写入删除操作相对较少。
针对上述特点KaiwuDB 采用写入不排序策略 ------ 数据可以按照其产生的顺序直接追加写入到相应的位置无需实时进行排序处理。此方法有效避免了上述提到的复杂排序操作开销同时也极大地简化了写入流程减少了写入操作的时间复杂度增加了写入吞吐。比如在某个有乱序时序数据的场景下Segment 内的 Block 的组织会如下图所示在写入 Block 6 中时间戳为 249 的数据时即使 Block 5 中存在着时间戳 253 的数据写入时也不会将此数据插入到 Blcok 5 中而是追加写入。 同时为了支持乱序读写以及保证历史数据的有序性KaiwuDB 时序存储引擎实现了存储小范围排序读取功能和定期数据排序重组机制。在写入过程中虽然数据不进行实时排序但通过这些后续的优化措施在不影响写入性能的前提下能够在需要读取数据时提供有序的数据视图。小范围排序读取功能能够在一定程度上满足乱序读取的需求而定期数据排序重组则可以在系统负载较低的时段对历史数据进行整理确保数据的长期有序性同时不干扰实时的数据写入操作进一步保障了写入吞吐的持续高效性使得 KaiwuDB 时序存储引擎能够更好地应对物联网场景下海量时序数据的高效写入需求。
