创意建设机械网站,微信app下载找回微信,网站上推广游戏怎么做,视频网站前言
一#xff1a;海量数据价值 二#xff1a;海量数据两个棘手问题
1#xff1a;海量数据如何存储#xff1f;
掌握分布式存储数据的思想。
A#xff1a;方案1#xff1a;单机存储磁盘不够加磁盘
限制问题#xff1a; 1#xff1a;一台计算机不能无限制拓充 2海量数据价值 二海量数据两个棘手问题
1海量数据如何存储
掌握分布式存储数据的思想。
A方案1单机存储磁盘不够加磁盘
限制问题 1一台计算机不能无限制拓充 2拓充的很多之后计算机进行多磁盘寻址的问题。 1TB硬盘100MB存储速度的时候
B方案2分布式存储
一台机器存不下多台机器共同存储读取数据时多台数据同时读取数据。
三海量数据如何计算
传统计算方式时间很长效率很低能不能搞出来都是个问题。
解决方案多台计算机同时计算进行分布式计算。
第一章大数据知识补充
一大数据业务分析步骤
二大数据部门介绍 第二章分布式技术栈
一分布式概念
1单机到分布式
访问量变高单机扛不住
2海量数据单机存不下、算不了
多线程计算把CPU和内存榨干也是有上限瓶颈的。单机计算能力是受到物理硬件上限的限制。
二分布式系统概述 分布式系统是一个硬件或软件组件分布在不同的网络计算机上 彼此之间仅仅通过消息传递进行通信和协调的系统。 一群互相独立计算机集合共同对外提供服务 对于系统的用户来说就像是一台计算机在提供服务样 三几个核心概念
1负载均衡
概念 Load Balance简称LB。将负载(工作任务)进行平衡、分摊到多个操作单元上进行。 说人话 假设单机服务最大qps为5w现在没秒访问量有12W单机肯定玩不转需要加到三台机器。 图解 LB强调的是分布式概念呢还是集群概念的 集群的概念因为这里是LB对应的后台服务是一样的所以更加注重的是集群的概念。
2故障转移
什么是单点故障 假设一个场景我们一个门户网页需要订单系统、商品系统、支付系统…进行支持。结果突然某台服务器嗝屁了 此为单点故障。
故障转移 1当活动的服务或者应用意外终止时快速启用冗余设备、备用服务器实例、系统、硬件、网络接替它工作 2故障转移也称之为容错系统所谓容错只是可以容忍错误的发生。 3故障转移的和核心是设置备份出现故障时主备切换。 4主备切换的前提是数据状态保持一致。服务状态一致缓存状态一致数据存储状态一致。
3伸缩性
伸缩线称之为弹性可拓展性。动态拓展缩减我们的后台实例数量 流量大时拓展服务器流量小时缩减服务器。
总结 1负载均衡解决一个处理不了多个共同处理的问题 2故障转移解决单点故障 容忍错误发生 业务连续 3伸缩性动态扩容缩容
