注册个网站域名多少钱,网络空间安全考研学校排名,ps网站设计怎么做,最适合穷人开的店这里是阿川的博客#xff0c;祝您变得更强 ✨ 个人主页#xff1a;在线OJ的阿川 #x1f496;文章专栏#xff1a;大数据入门到进阶 #x1f30f;代码仓库#xff1a; 写在开头
现在您看到的是我的结论或想法#xff0c;但在这背后凝结了大量的思考、经验和讨论 目录 1…
这里是阿川的博客祝您变得更强 ✨ 个人主页在线OJ的阿川 文章专栏大数据入门到进阶 代码仓库 写在开头
现在您看到的是我的结论或想法但在这背后凝结了大量的思考、经验和讨论 目录 1. 数据储存与管理概念2. 数据库详解3. 传统数据储存与管理技术详解3.1 文件系统3.2 关系数据库详解3.3 数据仓库详解3.4 并行数据库详解 1. 数据储存与管理概念
概念 利用计算机硬件和软件技术对数据进行有效的储存和应用如图1 图1 储存数据类型
结构化数据库半结构化数据库 网页文件 非结构化数据库 图片视频音频 图2 数据储存与管理技术
传统
文件系统关系数据库数据仓库并行数据库
图3 新型
分布式文件系统NewSQL数据库NoSQL数据库云数据库 图4 代表性产品
HDFSSpannerHBase 图5 2. 数据库详解
数据库概念 面向事务以一定的方式储存在一起能被多个用户共享具有尽可能小的冗余度与应用程序彼此独立的应用集合
数据库管理系统
DBMS 图6 传统数据库
网状数据库层状数据库关系数据库主流
图7 3. 传统数据储存与管理技术详解
3.1 文件系统
概念 操作系统用于明确存储设备或分区上文件信息的方法与数据结构 图8 文件系统的组成
文件系统的接口对对象操纵和管理的软件集合对象及属性 图9 文件系统功能
建立、存入、读出、转改、转储、控制文件的存取、销毁文件 图10 3.2 关系数据库详解
关系数据库 结构化数据概念 采用关系数据模型来组织、管理数据可以看成许多关系表二维表格的结合
图11 注意 结构化的数据都必须提前定好表的名称、字段名称、字段类型和约束等规范化操作 图12 优点 数据表的可靠性和稳定性高 缺点 数据模型不够灵活一旦存入数据后进行修改困难 关系数据库常见产品
OracleSQL ServerMySQLDB2
图13 关系数据库存储规范
为了规范数据、减少重复性数据、充分利用存储空间把数据按照最小的数据表形式存储采用主外键关系并且通过连接查询获取数据表之间的相关结果
图14 关系数据库查询方式
结构化查询语言SQL
高级的非过程化语言允许用户在高层的数据结构上工作且该语言可以嵌套使用具有很高的灵活性 图15 关系数据库连接方式
统一的数据库连接接口标准ODBC
利用ODBC生产的程序与具体的数据库产品无关从而数据库用户与开发人员平定不同数据库异构环境的复杂性 图16 3.3 数据仓库详解
数据仓库概念 面向主题的、集成的、相对稳定的反映历史变化的数据集合从而支持管理决策 数据仓库结构
数据源数据储存和管理OLAP服务器前端工具和应用
图17 其中数据源 分为内部数据和外部数据 内部
业务数据文档数据 图18 外部
外部数据法律法规市场信息竞争对手的信息外部统计数据其他相关文档 图19 其中数据存储和管理 对数据进行抽取和转换并且加载到数据仓库中并且按照主题进行重新组织最终确定数据仓库的目的存储结构同时存储数据结构的原数据数据字典、记录系统定义、数据转化规则、数据加载频率、业务规则 图20 其中OLAP服务器
对需要分析的数据按照多维数据模型进行重组,从而支持用户随时从多角度、多层次分析数据发现数据规律趋势 图21 其中前端工具和应用
数据查询工具自由报表工具数据分析工具数据挖掘工具各类应用系统 图22 数据库与数据仓库对比
数据库 面向事务捕获数据 数据仓库 面向主题分析数据 3.4 并行数据库详解
并行数据库概念 在无共享的体系结构中进行数据操作的数据系统。这些系统大部分采用了关系数据模型支持进行SQL语句查询 两大关键技术
关系表的水平划分SQL查询的分区执行 图23 优点 高性能和高可靠性通过多个节点并行数据库任务提高整个数据库系统的性能和可用性
缺点 没有较好的弹性不好进行数据转移 系统容错率较差一旦节点发生了故障整个查询都要从头开始执行只适合资源需求相对固定的程序
4. 夹带私货
若你能看到看到这篇文章且能看到这则说明你我有缘留个关注吧后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……祝你我变得更强
好的到此为止啦祝您变得更强 道阻且长 行则将至个人主页在线OJ的阿川大佬的支持和鼓励将是我成长路上最大的动力
