虚拟主机管理怎么做网站,网泰网站建设网络,网站建设. 龙兵科技,中铁建设集团有限公司门户登录一、NoSQL介绍
NoSQL是对Not Only SQL、非传统关系型数据库的统称
NoSQL一词诞生于1998年#xff0c;2009年这个词汇再次提出指非关系型、分布式、不提供ACID的数据库设计模式
随着互联网时代的数据爆发时增长、数据库技术发展的日新月异#xff0c;要适应新的业务需求2009年这个词汇再次提出指非关系型、分布式、不提供ACID的数据库设计模式
随着互联网时代的数据爆发时增长、数据库技术发展的日新月异要适应新的业务需求大数据技术中的NoSQL也同样重要
NoSQL分类
KV型(key-value)性能好O1如redis memcached优势数据的存储和缓存写入内存当中去
文档数据库(Document)mogodb索引、分片机制作为导向所以其很适合关联大数据领域搜索领域、CouchDB、ES(分布式、restful风格的搜索和数据分析引擎)
Column Store列存数据库HBase、Cassandra、大数据领域应用广泛
Graph DB数据库Neo4j
Time Series(时序数据库)InfluxDB Prometheus
Memcached
Memcached只支持能序列化的数据类型不支持持久化基于key-value的内存缓存系统
memcached虽然没有像redis具有数据持久化功能但是可以通过做集群同步的方式让Memcached服务器的数据进行同步从而实现数据的一致性即保证各memcached的数据是一样的即使又任何一台memcached发生故障只要集群中有一台memcached可用就不会出现数据丢失。当其他mem加入集群可以从已有的mem中自动获取数据并提供服务。
memcached借助了操作系统的Libevent工具做高效的读写其支持动I/O。libevent是个程序库它将Linux的epoll、BSD类操作系统的kqueue等事件处理机制封装成统一的调用接口。即使对服务器的连接数量增加也能发挥高性能。mem适应这个库可以在Linux、BSD、Solaris等操作系统上发挥其高性能。
memcached支持最大的内存存储对象为1M,redis可达512M不代表其内存缓存为1M超过1M的数据可以使用客户端压缩或拆分放到多个KEY中比较大的数据在进行读取的时候需要消耗的时间比较长memcached最适合保存用户的session实现session共享
memcached存储数据时会申请1M的内存把该内存称为一个slab也称为一个page
memcached支持多种开发语言包括JAVA C PYTHON C# PHP Ruby Perl等
相同键值对数据库Redis和Memcached的比较
数据结构
Redis哈希、列表、集合、有序集合、消息队列 memcached纯key-value
是否支持持久化 Redis支持 memcached不支持
是否支持高可用 Redis支持也支持读写分离、主从复制官方还有集群管理功能能实现主从监控、故障转移无需人工干预。 memcached不支持但可以二次开发。
存储容量 Redis最大512M memcached最大1M
内存分配 Redis临时申请可能导致碎片 memcached预分配内存池节省内存分配时间
单机QPS Redis10w memcached60w memcached工作机制
①Memcached内存分配机制 应用程序运行时需要使用内存存储数据但是对于一个缓存系统来说申请内存、释放内存将十分频繁非常容易导致大量的内存碎片最后导致无连续内存可用。 memcached采用了slab Allocator机制来分配和管理内存。 Page分配给slab的内存空间默认为1Mmemcached中存储数据的最大单位。分配后就得到了一个slabslab分配之后内存按照固定字节大小等分成chunk Chunk内存块用于缓存记录K/V值的内存空间。Memcached会根据数据大小选择存到哪一个chunk中假设chunk有128byte、64byte等多种数据只要100byte存储在128byte中存在少许浪费。 chunk最大就是Page的大小即一个Page中就一个chunk Slab ClassSlab按照chunk的大小分组就组成了不同的Slab Classdiyige Chunk大小为96B的Slab为Class1Chunk 120B为Class 2如果有100bytes要存那么Memcached会选择下图中Slab class 2存储因为它是120byte的chunk。slab之间的差异可用使用Growth Factor增长因子)控制默认为1.25。 ②缓存清理机制
缓存过期并且访问只是才会清理缓存不会主动清理缓存懒过期机制
提取出stats的指标 memcached安装
1yum安装
yum -y install memcached
配置文件/etc/sysconfig/memcached 2memcached简单命令操作
stats set add replace get delete
连接测试 Python3连接memcached
apt-get update
apt install python3-pip -y
pip3 install python3-memcached 3memcache高可用需要基于第三方解决方案
memagent高可用 反向代理memcached
二、memcache实现session会话复制和保持
基于集群将tomcat的会话信息保存至memcached中可用基于两种模式
sticky模式tomcat和memcached有关联关系 【注】适用于相对规模小的模式下。 t1 和 m1 在一台机器上 t2 和 m2 在一台机器上 t1 的会话存储在 m2 上 t2 的会话 存储在 m1 上 交叉存储 因为在同一个机器 因此 如果一个机器坏掉 另一个 msm 也会顶上 进行保持会
non-sticky模式tomcat和memcached没有关系tomcat自身不需要存放任何session信息
SetupAndConfiguration · magro/memcached-session-manager Wiki · GitHub 【注】kryo版本有严格的要求。
安装tomcat和memcached
将所有的jar包放置tomcat的库目录并修改context.xml 启动memcached服务查看session会话
尝试故障一台memcache查看会话故障迁移效果。
2non-sticky模式 会话进行访问 会存储到内存中 自己是异步的 但是这里选择同步 异步就是在空余时 间在复制 这里直接复制到另一个 memcache 中 即使她宕机 另一个机器也能 tomcat自身不存任何session信息完全依赖于后端数据库缓存。其默认做异步为了数据不丢失禁止其做异步sessionbackupasyncfalse 3使用Redis实现tomcat的session会话保持 Redis 对会话记录进行管理 当有会话访问以后 会存储到内存中 同时他在异步的情况下 会将会话存储到硬盘中 这里选择的 基于epel源安装redis
yum -y install redis 更改配置文件 Home · ran-jit/tomcat-cluster-redis-session-manager Wiki · GitHub
