上网建立网站布置,北京校园文化设计公司,广东省住房和城乡建设厅网站进不去,网站空间被攻击Redis大key基本概念#xff0c;影响 Redis 大 key 指在 Redis 中存储了大量数据的键#xff0c;它会对 Redis 的性能和内存管理产生影响。 大key的定义与value的大小和元素数量有关#xff0c;但这个定义并不是绝对的#xff0c;而是相对的#xff0c;具体取决于系统的使用…Redis大key基本概念影响 Redis 大 key 指在 Redis 中存储了大量数据的键它会对 Redis 的性能和内存管理产生影响。 大key的定义与value的大小和元素数量有关但这个定义并不是绝对的而是相对的具体取决于系统的使用场景和性能要求。大 key 通常有以下两种情况 Value 存储占用空间大集合类型的Key中元素过多 ![[Pasted image 20250227151208.png]] 造成的影响如下 1.内存分布不均大key占用过多的内存可能导致Redis示例内存不足触发淘汰策略或内存不足 2.阻塞请求对大key的操作可能耗时过长阻塞redis单线程影响其他请求的响应时间 3.网络阻塞读取大key时返回的数据包过大可能占满网络带宽影响其他服务通信 4.持久化问题大Key在生成RDB快照或AOF重写时会导致I/O压力增大甚至引发服务暂停。 5.集群倾斜在Redis集群中大key可能导致某个分片负载过高破坏数据均衡性。 Redis 大key是如何产生的 1、数据结构使用不当将Redis用在不合适其能力的场景如使用string类型存储大体积二进制文件或富文本数据。 2、业务设计不合理没有对key中的成员进行合理拆分导致个别key中的成员数量过多 3、未及时清理垃圾数据没有定期清理无效数据 4、对业务预估不准确业务上线前规划设计不足为预见value的动态增长问题 5、过期时间设置不当未给key设置过期时间或过期时间过长导致value数量累积。 等等 Redis 大key如何检测
使用redis-cli --bigkeys
![[Pasted image 20250227162153.png]]
增加内存流量超时等指标监控 由于大key的value很大执行读取时可能阻塞线程这样Redis整体的每秒查询率会下降并且客户端超时会增加网络带宽会上涨配置这些报警监控有助于我们发现大key的存在。 使用redis-rdb-tools离线文件分析工具
![[Pasted image 20250227163346.png]]
使用脚本扫描 编写脚本定期扫描redis的key检查每个key中value的大小 Redis 大key如何处理
![[Pasted image 20250227163630.png]]
渐进式删除
在Redis 4.0之前的版本中由于没有提供异步删除的功能删除大key可能会阻塞Redis的主线程影响性能。因此推荐使用渐进式删除即逐步删除key中的元素以减少对性能的影响。
惰性删除
从Redis 4.0开始引入了UNLINK命令它支持异步删除key。这种方式称为惰性删除因为它允许Redis在后台异步地删除key从而减少对主线程的阻塞提高性能。
value压缩
对存储在大key中的value进行压缩以减少存储空间的占用。这可以通过使用压缩算法如gzip、zlib等来实现。压缩后的数据在读取时需要解压缩可能会增加一些CPU开销但可以显著减少内存使用。
value拆分
将大key中的value拆分成多个小的value存储在不同的key中。这样可以减少单个key的大小提高操作的灵活性和性能。拆分后可以通过多个key来管理和访问原始数据。
