搭建网站php源码,沃尔玛超市网上购物app下载,北京海淀的保险公司,教学活动设计方案模板大数据 海量数据#xff0c;具有高增长率、数据类型多样化、一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集 合 大数据的特征: 4V Volume : 巨大的数据量 Variety : 数据类型多样化 结构化的数据 : 即具有固定格式和有限长度的数据 半结构化的数据 : 是…大数据 海量数据具有高增长率、数据类型多样化、一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集 合 大数据的特征: 4V Volume : 巨大的数据量 Variety : 数据类型多样化 结构化的数据 : 即具有固定格式和有限长度的数据 半结构化的数据 : 是一些 xml 或者 html 格式的数据 非结构化的数据 : 现在非结构化的数据越来越多就是不定长、无固定格式的数据例如网 页、语音、视频等 Velocity : 数据增长速度快, [vəˈlɒsəti] Value : 价值密度低商业价值高 大数据的处理: 数据采集数据存储数据清洗数据分析数据可视化。 核心就是 数据价值化 应用场景 存储和读取效率 分布式存储: 将一个数据集存储到多个硬盘里 然后并行读取 比如 1T 的数据我们平均 100 份存储到 100 个 1TB 硬盘上同时读取那么读取完整个数 据集的时间用不上两分钟。至于硬盘剩下的 99% 的容量我们可以用来存储其他的数据集这样就不会 产生浪费。解决读取效率问题的同时我们也解决了大数据的存储问题。 存储大数据集-----硬盘不够大、数据存储单份的安全隐患-----分布式文件系统 快速分析大数据集-----基于分布式文件系统的计算分析的编程框架模型 传统型关系数据库不适合存储非结构化数据------BigTable(适合存储结构化和半结构化数据) Hadoop Hadoop 是 Apache 基金会旗下 一个开源的分布式存储和分析计算平台 使用 java 语言开发具有很好的跨平台性可以运行在商用( 廉价 ) 硬件上用户无需了解分布式底层细节就可以开发分布式程序充分使用集群的高速计算和存储 组成部分 面试必问 生态系统 Hadoop不仅仅是一个单一的软件它是一个生态系统意味着它包含了一系列的相关工具和框架这些工具和框架可以相互配合使用以支持不同类型的数据处理任务。 安装 CDH 使用CDH会简化Hadoop的安装,Clouderas Distribution Including Apache Hadoop是由Cloudera公司提供的一种基于Apache Hadoop的大数据平台解决方案。它是一个企业级的发行版旨在简化和优化Hadoop的部署、管理和使用. CM 集群管理平台 (Cloudera Manager) 是一个功能全面的集群管理工具它通过提供自动化的部署、配置、监控和管理功能极大地简化了 Hadoop 集群的运维工作 HUE 开发平台 全称为Hadoop User Experience是一个开源的Apache Hadoop UI系统它为用户提供了一个在浏览器端与Hadoop集群进行交互的Web控制台.它提供了一个功能强大的SQL编辑器用户可以编写、执行和调试SQL查询支持自动完成、语法高亮和查询结果可视化。此外Hue还内置了HDFS文件浏览器用户可以方便地浏览、上传、下载和管理HDFS文件 Hue主要用于数据分析和处理而Cloudera Manager则主要用于集群的管理和运维。 HDFS的结构图 HDFS的优点 1. 高容错性硬件故障是常态数据自动保存多个副本副本丢失后会自动恢复 2. 适合大数据集GB、TB、甚至PB级数据、千万规模以上的文件数量1000以上节点规模(一台服务器/电脑是一个节点) 3. 构建成本低Hadoop开源,并且可以构建在廉价机器上。 4. 多种软硬件平台中的可移植性 5. 高效性Hadoop能够在节点之间动态地移动数据并保证各个节点的动态平衡因此处理速度非常快。 HDFS的缺点 1. 不适合做低延迟数据访问(无法实时) HDFS适合处理大型数据集高吞吐率。这一点以高延迟为代价的。因此HDFS不 适合处理用户要求的毫秒级的低延迟应用请求 2. 不适合小文件存取 一是需要消耗大量的寻址时间 第二, 无论块中文件大小, 文件的元数据所占的内存是相同的, 因此相对来说大文件更省内存。如果文件太小,很可能导致元数据比文件本身还要大. 解决: 把多个小文件合并成大文件 3. 不适合并发写入文件随机修改 HDFS上的文件只能拥有一个写者仅仅支持append操作。不支持多用户对同一个文件的写操作以及在文件任意位置进行修改
