燕郊的大型网站建设,贵州新站优化,做网站基本费用大概需要多少,珠海单位网站建设文章目录1. 什么是分布式 ?2. 分布式与集群的区别 ?3.用一个请求串起来4.一个简化的架构图5.分布式环境的特点6.分布式环境下面临的问题7.总结1. 什么是分布式 ?
分布式系统一定是由多个节点组成的系统。 其中#xff0c;节点指的是计算机服务器#xff0c;而且这些节点一…
文章目录1. 什么是分布式 ?2. 分布式与集群的区别 ?3.用一个请求串起来4.一个简化的架构图5.分布式环境的特点6.分布式环境下面临的问题7.总结1. 什么是分布式 ?
分布式系统一定是由多个节点组成的系统。 其中节点指的是计算机服务器而且这些节点一般不是孤立的而是互通的。 这些连通的节点上部署了我们的节点并且相互的操作会有协同。 分布式系统对于用户而言他们面对的就是一个服务器提供用户需要的服务而已 而实际上这些服务是通过背后的众多服务器组成的一个分布式系统因此分布式系统看起来像是一个超级计算机一样。
2. 分布式与集群的区别 ?
集群
集群是指在几个服务器上部署相同的应用程序来分担客户端的请求。 它是同一个系统部署在不同的服务器上比如一个登陆系统部署在不同的服务器上。 好比 多个人一起做同样的事。 集群主要的使用场景是为了分担请求的压力。 但是当压力进一步增大的时候可能在需要存储的部分比如mysql无法面对大量的“写压力”。 因为在mysql做成集群之后主要的写压力还是在master的机器上其他slave机器无法分担写压力这时就引出了“分布式”。
分布式
分布式是指多个系统协同合作完成一个特定任务的系统。 它是不同的系统部署在不同的服务器上服务器之间相互调用。 好比 多个人一起做不同的事。 分布式是解决中心化管理的问题把所有的任务叠加到一个节点处理太慢了。 所以把一个大问题拆分为多个小问题并分别解决最终协同合作。 分布式的主要工作是分解任务把职能拆解。 分布式的主要应用场景是单台机器已经无法满足这种性能的要求必须要融合多个节点并且节点之间的相关部分是有交互的。 相当于在写mysql的时候每个节点存储部分数据分库分表这就是分布式存储的由来。 存储一些非结构化数据静态文件、图片、pdf、小视频 … 这些也是分布式文件系统的由来。
用生活中的例子来说明集群和分布式及其区别 小饭店原来只有一个厨师切菜洗菜备料炒菜全干。 后来客人多了厨房一个厨师忙不过来又请了个厨师两个厨师炒一样的菜这两个厨师的关系是集群。 为了让厨师专心炒菜把菜做到极致又请了个配菜师负责切菜备菜备料厨师和配菜师的关系是分布式 一个配菜师也忙不过来了又请了个配菜师两个配菜师关系是集群。最后再深入理解一下集群和分布式及其区别 分布式把一个大业务拆分成多个子业务每个子业务都是一套独立的系统子业务之间相互协作最终完成整体的大业务。 集群把处理同一个业务的系统部署多个节点 。 把一套系统拆分成不同的子系统部署在不同服务器上这叫分布式。 把多个相同的系统部署在不同的服务器上这叫集群。部署在不同服务器上的相同系统必然要做“负载均衡”。 集群主要是简单加机器解决问题对于问题本身不做任何分解。 分布式处理里必然涉及任务分解与答案归并。分布式中的某个子任务节点可以是一个集群该集群中的任一节点都作为一个完整的任务出现。 集群和分布式都是由多个节点组成但集群中各节点间基本不需要通信协调而分布式中各个节点的通信协调是必不可少的。
3.用一个请求串起来
用户使用Web、APP、SDK通过HTTP、TCP连接到系统。在分布式系统中为了高并发、高可用一般都是多个节点提供相同的服务。那么第一个问题就是具体选择哪个节点来提供服务这个就是负载均衡load balance。
负载均衡的思想很简单但使用非常广泛在分布式系统、大型网站的方方面面都有使用或者说只要涉及到多个节点提供同质的服务就需要负载均衡。
通过负载均衡找到一个节点接下来就是真正处理用户的请求请求有可能简单也有可能很复杂。
简单的请求比如读取数据那么很可能是有缓存的即分布式缓存如果缓存没有命中那么需要去数据库拉取数据。对于复杂的请求可能会调用到系统中其他的服务。
承上假设服务A需要调用服务B的服务首先两个节点需要通信网络通信都是建立在TCP/IP协议的基础上。但是每个应用都手写socket是一件冗杂、低效的事情因此需要应用层的封装因此有了HTTP、FTP等各种应用层协议。
当系统愈加复杂提供大量的http接口也是一件困难的事情。因此有了更进一步的抽象那就是RPCremote produce call是的远程调用就跟本地过程调用一样方便屏蔽了网络通信等诸多细节增加新的接口也更加方便。
一个请求可能包含诸多操作即在服务A上做一些操作然后在服务B上做另一些操作。比如简化版的网络购物在订单服务上发货在账户服务上扣款。这两个操作需要保证原子性要么都成功要么都不操作。这就涉及到分布式事务的问题分布式事务是从应用层面保证一致性某种守恒关系。
上面说道一个请求包含多个操作其实就是涉及到多个服务分布式系统中有大量的服务每个服务又是多个节点组成。那么一个服务怎么找到另一个服务的某个节点呢通信是需要地址的怎么获取这个地址最简单的办法就是配置文件写死或者写入到数据库。
但这些方法在节点数据巨大、节点动态增删的时候都不大方便这个时候就需要服务注册与发现提供服务的节点向一个协调中心注册自己的地址使用服务的节点去协调中心拉取地址。
从上可以看见协调中心提供了中心化的服务以一组节点提供类似单点的服务使用非常广泛比如命令服务、分布式锁。协调中心最出名的就是chubbyzookeeper。
回到用户请求这个点请求操作会产生一些数据、日志通常为信息其他一些系统可能会对这些消息感兴趣。比如个性化推荐、监控等这里就抽象出了两个概念消息的生产者与消费者。那么生产者怎么将消息发送给消费者呢RPC并不是一个很好的选择因为RPC肯定得指定消息发给谁。
但实际的情况是生产者并不清楚、也不关心谁会消费这个消息这个时候消息队列就出马了。简单来说生产者只用往消息队列里面发就行了队列会将消息按主题topic分发给关注这个主题的消费者。消息队列起到了异步处理、应用解耦的作用。
上面提到用户操作会产生一些数据这些数据忠实记录了用户的操作习惯、喜好是各行各业最宝贵的财富。比如各种推荐、广告投放、自动识别。这就催生了分布式计算平台比如HadoopStorm等用来处理这些海量的数据。
最后用户的操作完成之后用户的数据需要持久化但数据量很大大到按个节点无法存储。那么这个时候就需要分布式存储将数据进行划分放在不同的节点上同时为了防止数据的丢失每一份数据会保存多分。
传统的关系型数据库是单点存储为了在应用层透明的情况下分库分表会引用额外的代理层。而对于NoSql一般天然支持分布式。
4.一个简化的架构图
下面用一个不大精确的架构图尽量还原分布式系统的组成部分不过只能体现出技术不好体现出理论
5.分布式环境的特点
分布性服务部署空间具有多样性并发性程序运行过程中并发性操作是很常见的。比如同一个分布式系统中的多个节点同时访问一个共享资源。数据库、分布式存储无序性进程之间的消息通信会出现顺序不一致问题
6.分布式环境下面临的问题
网络通信网络本身的不可靠性因此会涉及到一些网络通信问题网络分区(脑裂)当网络发生异常导致分布式系统中部分节点之间的网络延时不断增大最终导致组成分布式架构的所有节点只有部分节点能够正常通信三态在分布式架构里面多了个状态超时所以有三态 成功、失败、超时分布式事务ACID(原子性、一致性、隔离性、持久性)中心化和去中心化冷备或者热备
7.总结
以上概述对分布式的理解在分布式架构里面很多的架构思想采用的是当集群发生故障的时候集群中的人群会自动“选举”出一个新的领导。 最典型的是 zookeeper / etcd
