做网站单网页,企业网站备案教程,手机网站导航条,中国响应式网站建设导语
自 2024年5月起#xff0c;TDMQ CKafka 专业版支持弹性存储能力#xff0c;这种产品形态下#xff0c;存储可按需使用、按量付费#xff0c;一方面降低消费即删除、存储使用波动大场景下的存储成本#xff0c;另一方面存储空间理论上无穷大。
TDMQ CKafka 版产品能…导语
自 2024年5月起TDMQ CKafka 专业版支持弹性存储能力这种产品形态下存储可按需使用、按量付费一方面降低消费即删除、存储使用波动大场景下的存储成本另一方面存储空间理论上无穷大。
TDMQ CKafka 版产品能力介绍
腾讯云 TDMQ CKafka 版是一个分布式、高吞吐量、高可扩展性的消息系统100%兼容开源 Kafka API 2.4、2.8、3.2 版本。基于发布/订阅模式通过消息解耦使生产者和消费者异步交互无需彼此等待。TDMQ CKafka 版具有高可用、数据压缩、同时支持离线和实时数据处理等优点适用于日志压缩收集、监控数据聚合、流式数据集成等场景。 为什么要做弹性存储
随着技术的发展Serverless 的技术形态和使用姿势为用户带来了技术和成本二者兼得的益处。一方面通过商业化 PaaS 产品的技术实力设计系统架构。另一方面计费模式从购买固定规格改变为弹性按量付费使得客户的存储按照实际的使用量进行计费且存储支持弹性扩容帮助客户有效提升资源利用率并降低业务成本。
比如某客户在购买集群时需要指定最小集群存储 200G但业务初期实际使用率不到10%而后期随着业务的上量在不改动规格的基础上又要不断给存储扩容。
故而TDMQ CKafka 专业版推出 弹性存储 形态。一方面降低消费即删除、存储使用波动大场景下的存储成本另一方面存储空间理论上无穷大。
技术方案
专业版的弹性存储形态基于「本地存储 远程存储」相结合的方式实现。即采用分级存储方案本地会有少量的云盘热数据远程存储有大量的冷数据。 本地存储
● 本地存储服务写流量/Tail-Read 读提供与原生 Kafka 一致的延时、可用性和一致性。
● 远程存储故障或者性能衰退本地存储支持弹性扩容提供读写服务。
远程存储
● 远程存储服务 Catch- Up 读冷热数据分离。
● 按需使用按量计费。
● 未来扩展性良好支持多模存储多介质存储。
该技术方案在写入延迟和本地写入延时是一致的在远程存储出现故障或者毛刺的时候可以退化为本地存储再结合自动化运营系统对本地存储形态进行动态扩容。同时远程的存储相对廉价可以一定程度上实现降本。
分级存储读写流程
生产流程
生产的主体流程和原生 Kafka 类似写入到云盘的数据会异步同步到远端存储 COS。 消费流程
消费的流程也是类似的会根据用户 Consumer 的 Offset来做一个比较如果是在本地存储那么就本地存储优先返回。如果本地存储没有那就从远端存储里面去实时读取或者说根据不同的读取策略有不同的读取下载策略进行消息读取的消费。 更加详细的数据生命周期管理、Offset 约束、Segment 状态机、分级存储架构等请参考Kafka 分级存储在腾讯云的实践与演进。
弹性存储售卖方式
按照消息存储所占用的存储空间大小和存储时长计费。
● 计费方式按量计费后付费计量单位为 “XX 元/GB/小时”。
● 计费粒度小时不足1小时按1小时计算。按1小时内使用的磁盘容量的最大值计费。
存储费用 消息存储大小 × 存储单价 × 时长。
不同的地域价格不同具体单价请参考实际售卖页价格登录 - 腾讯云
使用说明
当前功能还是在白名单状态如需使用请联系我们或售后架构师。 提单地址https://cloud.tencent.com/online-service
使用限制
● 引擎版本当前仅在专业版 Kafka 2.8.1 引擎版本下支持弹性存储。
● 地域当前仅在北京、上海、广州、新加坡、香港地域下支持该形态。
购买方式 控制台购买集群时 规格类型选择专业版 存储类型选择弹性存储 确定其他选项后发起创建即可。
