网站后台怎么挂广告 怎么做,做花语的网站,网站建设申请费用,外地人在海南注册公司简介
Greenplum是一家总部位于**美国加利福尼亚州#xff0c;为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司#xff0c;在全球已有#xff1a;纳斯达克#xff0c;纽约证券交易所#xff0c;Skype. FOX为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司在全球已有纳斯达克纽约证券交易所Skype. FOXT-Mobile;中国已有中信实业银行东方航空公司阿里巴巴华泰保险中国远洋(Cosco)李宁公司**等大型企业用户选择Greenplum的产品。它的底层是基于开源的关系型数据库postgresql进行开发完成的Greenplum数据库是一种大规模并行处理MPP数据库服务器其架构特别针对管理大规模分析型数据仓库以及商业智能工作负载而设计当前使用的 OLTP程序中用户访问一个中心数据库如果采用SMP系统结构它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势。
名词解释
SMP与MPP SMP(Symmetric Multi-Processor)对称多处理器结构 是指服务器中多个CPU对称工作无主次或从属关系。各CPU共享相同的物理内存每个 CPU访问内存中的任何地址所需时间是相同的因此SMP也被称为一致存储器访问结构(UMAUniform Memory Access)对SMP服务器进行扩展的方式包括增加内存、使用更快的CPU、增加CPU、扩充I/O(槽口数与总线数)以及添加更多的外部设备(通常是磁盘存储)SMP服务器的主要特征是共享系统中所有资源(CPU、内存、I/O等)都是共享的。也正是由于这种特征导致了SMP服务器的主要问题那就是它的扩展能力非常有限对于SMP服务器而言每一个共享的环节都可能造成SMP服务器扩展时的瓶颈而最受限制的则是内存。由于每个CPU必须通过相同的内存总线访问相同的内存资源因此随着CPU数量的增加内存访问冲突将迅速增加最终会造成CPU资源的浪费使CPU性能的有效性大大降低 **MPP(Massively Parallel Processing)**大规模并行处理是采用大量处理单元对问题进行求解的一种并行处理技术。是一种非共享架构每个节点都有独立的操作系统和数据库等节点之间信息交互只通过网络连接实现。简单的说MPP是将任务并行的分散到多个服务器和节点上在每个节点上计算完成后将各自部分的结果汇总在一起得到最终的结果与Hadoop相似 每个节点内的CPU不能访问另一个节点的内存节点之间的信息交互是通过节点互联网络实现的这个过程称为数据重分配MPP适合出来结构化的数据尤其是复杂的结构化查询(复杂查询经常使用多表联查、全表扫描等牵涉的数据量十分庞大) 两种结构的比较: 与传统的SMP架构明显不同通常情况下MPP系统因为要在不同处理单元之间传送信息所以它的效率要比SMP要差一点但是这也不是绝对的因为 MPP系统不共享资源因此对它而言资源比SMP要多当需要处理的事务达到一定规模时MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定如果通信时间比较多那MPP系统就不占优势了相反如果通信时间比较少那MPP系统可以充分发挥资源的优势达到高效率。 OLTP联机事务处理与 OLAP联机分析处理 OLAP全称为OnlineAnalyticalProcessing它强调对大量历史数据的分析与处理。它的主要功能包括查询、分析、预测、数据挖掘等为用户提供灵活的数据分析和快速决策支持。比如greenplum数据库OLTP全称为OnlineTransactionProcessing它强调对数据的实时处理。OLTP系统通常用于处理企业的日常交易数据例如订单处理、库存管理、银行交易等。它的主要功能是支持事务和实时数据处理为用户提供高效的交易处理服务。比如mysql数据库
架构 主从结构。greenplum采用一主Master多从Segment的结构Master负责查询解析、优化及任务分发Segment负责查询处理、数据存储双方通过Interconnect通信。总体架构图如下 master节点 是整个系统的控制中心和对外的服务接入点它负责接收用户SQL请求将SQL生成查询计划并进行并行处理优化然后将查询计划分配dispatch到所有的Segment节点进行并行处理协调组织各个Segment节点按照查询计划一步一步地进行并行处理最后获取到Segment的计算结果再返回给客户端从用户的角度看Greenplum集群看到的只是Master节点,无需关心集群内部的机制所有的并行处理都是在Master控制下自动完成的。Master节点一般只有一个或两个互为备份主备方案实现高可用master上不包含任何用户数据数据只存在于segment之上 segment节点 是Greenplum执行并行任务的并行运算节点它接收Master的指令进行MPP并行计算因此所有Segment节点的计算性能总和就是整个集群的性能通过增加Segment节点可以线性化得增加集群的处理性能和存储容量Segment节点可以是1~10000个节点它的数量决定greenplum的算力可通过横向扩容提升整个数据库的算力及性能一个节点上可以有多个实例一个节点简单理解为一个主机每个实例都有自己独立的数据目录以磁盘文件的方式保存用户数据 Interconnect 是Master节点与Segment节点、Segment节点与Segment节点之间的数据传输组件它基于千兆交换机或万兆交换机实现数据在节点间的高速传输
数据存储与分布 存储 在Greenplum中用户数据可按某种策略分布到不同节点的Segment实例中每个实例都有自己独立的数据目录以磁盘文件的方式存储用户数据。为了更好的AP性能Greenplum在支持行存储的基础上支持列存储。同时为了适应更多的应用场景支持Appendonly表(只能insert不能update、delete的一种表, 可以消除每行中的更新可见性信息负担这可以为每一行节约大概20字节)与外部表(csv等文件)。用户可根据需要灵活进行选择采用不同的存储策略保存不同时间的数据比如最近三个月的数据使用堆表存储更老的数据使用列存储一年以前的数据使用外部表的方式存储在HDFS中。 Greenplum提供了以下三种数据分布策略 哈希分布Hash分布是Greenplum最常用的数据分布方式根据用户的分布键计算后的哈希值将数据分布到某个Segment上。分布键的选择非常重要好的分布键应将数据均匀分布到各Segment上同时在用户查询时尽量减少重分布 create table t1(id, int) DISTRIBUTED BY (id);随机分布采用循环的方式将一次插入的数据存储到不同的节点上应尽量减少这种分布方式除非不能确定一张表的哈希分布键或者不存在合理的能够避免数据倾斜的分布键。随机分布会采用循环的方式将一次插入的数据存储到不同的节点上。随机性只在单个 SQL 中有效不考虑跨 SQL 的情况。譬如如果每次插入一行数据到随机分布表中最终的数据会全部保存在第一个节点上。一次插入一行和一次插入多行 create table t1 (id int) DISTRIBUTED RANDOMLY;复制表即整张表在每个节点上都有完成的数据。一般适用于小表这样可以减少查询执行过程中进行重分布或者广播 CREATE TABLE student_rep (id int) DISTRIBUTED REPLICATED;并行执行计划 三种数据的移动操作 Broadcast Motion (N:N)广播数据。每个节点向其他节点广播需要发送的数据。Redistribute Motion (N:N)重新分布数据。利用 join 列数据的 hash 值不同将筛选后的数据在其他 segment 重新分布Gather Motion (N:1)聚合汇总数据。每个节点将 join 后的数据发到一个单节点上通常是发到主节点 master 。 数据重分布和广播(优化器会计算广播与重分布两种方式各自的代价选择代价低的方式进行) 数据准备 -- 哈希分布
CREATE TABLE student (id int4 NULL,name varchar(400) NULL
)
DISTRIBUTED BY (name);-- 随机分布
CREATE TABLE student_class (id int4 NULL,class_name varchar(255) NULL,student_name varchar(255) NULL
)
DISTRIBUTED RANDOMLY;select *
fromstudent st
left join student_class sc onst.name sc.student_name重分布 即表的关联键和分布键不一致因此数据需要重新分布来达到单库关联的效果
参考文档
官方中文文档地址GP查询详解GP广播与重分布
关于管理和监控工具
Greenplum数据库提供了标准的命令行工具来执行通常的监控和管理任务。Greenplum的命令行工具位于 $GPHOME/bin目录中并且在Master主机上执行。Greenplum为下列管理任务提供了实用工具 在一个阵列上安装Greenplum数据库初始化一个Greenplum数据库系统开始和停止Greenplum数据库增加或者移除一个主机扩展阵列并且在新的Segment上重新分布表恢复失效的Segment实例管理失效Master实例的故障切换和恢复备份和恢复一个数据库并行并行装载数据在Greenplum数据库之间转移数据系统状态报告
配置表 gp_segment_configuration 查看greenplum库各个节点数据的分布情况 select gp_segment_id,count(*) from table_name group by gp_segment_id;
-- 查询数据在哪个节点上
select gp_segment_id, * from student;
