戴尔公司网站建设成功的关键是什么,浅议我国旅游景点网站的建设,做网站前的准备什么软件,网页维护包括哪些数据切分根据其切分类型#xff0c;可以分为两种方式#xff1a;垂直#xff08;纵向#xff09;切分和水平#xff08;横向#xff09;切分一#xff1a;垂直#xff08;纵向#xff09;切分【基于表或字段划分#xff0c;表结构不同】1#xff1a;垂直分库根据业务…数据切分根据其切分类型可以分为两种方式垂直纵向切分和水平横向切分一垂直纵向切分【基于表或字段划分表结构不同】1垂直分库 根据业务的耦合度和数据的访问量等进行数据的分离存储在不同的数据库比如按照按业务分类进行独立划分会员服务用户库商品服务商品库订单服务订单库支付服务账务库营销服务营销库2垂直分表 垂直分表是基于数据库中的列进行某个表字段较多可以新建一张扩展表比如订单表基本信息在主表商品信息单独存在订单商品明细表垂直切分的优点 1解决业务系统层面的耦合业务清晰 2便于对不同的数据进行分级管理、维护、监控、扩展 3高并发场景下垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈缺点 1部分表无法join,只能通过接口聚合方式解决提升了开发的复杂度 2分布式事务处理复杂 3依然存在单表数据量过大的问题需要水平切分二水平横向切分【基于数据划分表结构相同数据不同】 当一个应用难以再细粒度的垂直切分或切分后数据量行数巨大存在单库读写、存储性能瓶颈这时候就需要进行水平切分了 水平切分分为库内分表和分库分表一个表的数据划分到不同的数据库两个数据库的表结构一样根据一定的规则将同一个表按不同的条件分散到多个数据库或者多个表中。 库内分表只解决了单一表数据量过大的问题但没有将表分布到不同机器的库上对于减轻数据库压力作用不是很大但是单表查询会增加速度库内分表案例比如账务支付单表量比较大且此表的查询操作比较频繁就可以建一个历史表超过当前时间一个月的数据都保存至历史表访问不频繁以此减少支付单表的数据量减轻支付单表的操作压力水平切分的优点 1不存在单库数据量过大、高并发的性能瓶颈提升系统稳定性和负载能力 2应用端改造较小不需要拆分业务模块 缺点 1跨分片的事务一致性难以保证 2跨库的join关联查询性能较差 3数据多次扩展难度和维护量极大水平切分常用方法1根据数值范围比如id0-100000,100001-20000进行表存储2:根据数值取模比如分了20个表根据id%20取余选择数据库进行存储分布式事务常用的解决方案基于可靠消息MQ的解决方案、两阶段事务提交、柔性事务三常见问题1全局主键避免重复问题MySQL数据库里面字段有一个自增的属性Oracle订单表也有 Sequence 序列。如果是一个数据库那么可以保证 ID 是不重复的但是水平分表以后每个表都按照自己的规律自增肯定会出现 ID 重复的问题因此需要单独设计全局主键以避免跨库主键重复问题。有一些常见的主键生成策略1、UUID2、基于数据库自增单独维护一张 ID表3、号段模式4、Redis 缓存5、雪花算法Snowflake6、百度uid-generator7、美团Leaf8、滴滴Tinyid 2多数据源和读写数据源的解决方案 常用的中间件ShardingJdbc和Mycat ShardingJdbc和MyCat的区别以及优缺点 相同点 主流程都是SQL解析-SQL路由-SQL改写-SQL执行-结果归并 SQL 路由实际查询中数据不只保存在一台mysql服务器上解析原生的sql确定使用哪些数据库哪些数据表:目前支持分片路由和广播路由 SQL执行通过多线程执行器异步执行SQL 结果归并将多个执行结果集归并以便于通过统一的JDBC接口输出。结果归并包括流式归并、内存归并和使用装饰者模式的追加归并这几种方式。区别 架构设计不同MyCat是基于Proxy,类似nginx,复写了MySql协议将MycatServer伪装成一个Mysql数据库。优点是保证数据库的安全性归并数据结果完全解耦缺点是效率偏低。 Sharding-jdbc是基于jdbc的扩展是以jar包的形式提供轻量级服务的。优点是效率较高缺点是归并数据结果没有实现解耦存在代码入侵性。还容易内存溢出所以要做分页处理。2.1 Sharding-jdbc 分片策略 sharding-jdbc 对于分片策略有2种维度 1数据源分片策略DatabaseSharingStrategy:数据被分配的目标数据源 2表分片策略TableShardingStrategy:数据被分配的目标表 两种分片策略API完全相同但是表分片策略是依赖于数据源分片策略的即先分库然后才有分表1StandardShardingStrategy标准分片策略。提供对SQL语句中的IN和BETWEEN AND 的分片操作支持。StandardShardingStrategy只支持单分片键提供PreciseShardingAlgorithm精准分片和RangeShardingAlgorithm范围分片两个分片算法PreciseShardingAlgorithm是必选的用于处理和IN的分片RangeShardingAlgorithm是可选的用于处理BETWEEN AND分片如果不配置RangeShardingAlgorithm,SQL中的BETWEEN AND 将按照全库理由处理。ComplexShardingStrategy复合分片策略。提供对SQL语句中的IN,和BETWEEN AND的分片操作支持。ComplexShardingStrategy支持多分片键由于多分片键之间的关系复杂因此Sharding-JDBC并未做过多的封装而是直接将分片键值组合以及分片操作符交于算法接口完全由应用开发者实现提供最大的灵活度InlineShardingStrategyInline表达式分片策略。使用Groovy的Inline表达式提供对SQL语句中的和IN的分片操作支持。InlineShardingStrategy只支持单分片键对于简单的分片算法可以通过简单的配置使用从而避免繁琐的JAVA代码开发。如tuser${user_id%8}表示t_user表按照user_id按8取模分成8个表表名称为t_user_0到t_user_7.HintShardingStrategy强制路由策略通过Hint而非SQL解析的方式分片的策略。对于分片字段非SQL决定而由其他外置条件决定的场景可使用sql hint灵活的注入分片字段Hint分片策略是绕过SQL解析的所以对于比较复杂的需要分片的查询采用Hint分片策略性能可能会更好在读写分离数据库中Hint可以通过HintManager.setMasterRouteOnly()方法强制读主库主从复制存在一定延时但在某些特定的业务场景中可能更需要保证数据的实时性NoneShardingStrategy不分片的策略自定义分片算法 Sharding 提供了4种算法接口 PreciseShardingAlgrorithm RangeShardingAlgorithm HintShardingAlgorithm CompleKeysShardingAlgorithm
