内江 网站建设,网站系统管理员模块,网站开发用什么服务器,正规漫画网站开发流程Hive之分区表 文章目录 Hive之分区表写在前面分区表分区表基本操作引入分区表创建分区表语法加载数据到分区表中查询分区表中数据增加分区删除分区查看分区表有多少分区查看分区表结构 二级分区正常的加载数据分区表和数据产生关联 动态分区开启动态分区参数设置案例实操 写在前…Hive之分区表 文章目录 Hive之分区表写在前面分区表分区表基本操作引入分区表创建分区表语法加载数据到分区表中查询分区表中数据增加分区删除分区查看分区表有多少分区查看分区表结构 二级分区正常的加载数据分区表和数据产生关联 动态分区开启动态分区参数设置案例实操 写在前面
Linux版本CentOS7.5Hive版本Hive-3.1.2
分区表
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区这样的查询效率会提高很多。
分区表基本操作
引入分区表 需要根据日期对日志进行管理, 通过部门信息模拟 dept_20200401.log
dept_20200402.log
dept_20200403.log
……创建分区表语法
hive (default) create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (day string)
row format delimited fields terminated by \t;注意分区字段不能是表中已经存在的数据可以将分区字段看作表的伪列。 加载数据到分区表中
1数据准备 dept_20200401.log 10 ACCOUNTING 1700
20 RESEARCH 1800
dept_20200402.log
30 SALES 1900
40 OPERATIONS 1700
dept_20200403.log
50 TEST 2000
60 DEV 19002加载数据
hive (default) load data local inpath /export/server/hive-3.1.2/datas/dept_20200401.log into table dept_partition partition(day20200401);
hive (default) load data local inpath /export/server/hive-3.1.2/datas/dept_20200402.log into table dept_partition partition(day20200402);
hive (default) load data local inpath /export/server/hive-3.1.2/datas/dept_20200403.log into table dept_partition partition(day20200403);注意分区表加载数据时必须指定分区 HDFS Web段查看分区 Hive查询分区 查询分区表中数据
单分区查询
hive (default) select * from dept_partition where day20200401;多分区联合查询
hive (default) select * from dept_partition where day20200401unionselect * from dept_partition where day20200402unionselect * from dept_partition where day20200403;
hive (default) select * from dept_partition where day20200401 orday20200402 or day20200403 ; 增加分区
创建单个分区
hive (default) alter table dept_partition add partition(day20200404) ;同时创建多个分区 中间没有加逗号
hive (default) alter table dept_partition add partition(day20200405) partition(day20200406);删除分区
删除单个分区
hive (default) alter table dept_partition drop partition (day20200406);同时删除多个分区 中间有加逗号
hive (default) alter table dept_partition drop partition (day20200404), partition(day20200405);查看分区表有多少分区
hive show partitions dept_partition;查看分区表结构
hive desc formatted dept_partition;# Partition Information
# col_name data_type comment
month string 二级分区 假设现在有一个需求一天的日志数据量很大如何再将数据拆分? 答案就是接下来的 二级分区 正常的加载数据
1加载数据到二级分区表中
hive (default) load data local inpath /opt/module/hive/datas/dept_20200401.log into table
dept_partition2 partition(day20200401, hour12);2查询分区数据
hive (default) select * from dept_partition2 where day20200401 and hour12;分区表和数据产生关联 把数据直接上传到分区目录上让分区表和数据产生关联的三种方式 1方式一上传数据后修复
上传数据 dfs -mkdir –p 或者 hadoop fs –mkdir
hive (default) dfs -mkdir -p/user/hive/warehouse/mydb.db/dept_partition2/day20200401/hour13;
hive (default) dfs -put /opt/module/datas/dept_20200401.log /user/hive/warehouse/mydb.db/dept_partition2/day20200401/hour13;查询数据查询不到刚上传的数据
hive (default) select * from dept_partition2 where day20200401 and hour13;执行修复命令
hive msck repair table dept_partition2;再次查询数据
hive (default) select * from dept_partition2 where day20200401 and hour13;2方式二上传数据后添加分区
上传数据
hive (default) dfs -mkdir -p /user/hive/warehouse/mydb.db/dept_partition2/day20200401/hour14;
hive (default) dfs -put /export/server/hive-3.1.2/datas/dept_20200401.log/user/hive/warehouse/mydb.db/dept_partition2/day20200401/hour14;执行添加分区
hive (default) alter table dept_partition2 add partition(day201709,hour14);查询数据
hive (default) select * from dept_partition2 where day20200401 and hour14;3方式三创建文件夹后load数据到分区
创建目录
hive (default) dfs -mkdir -p /user/hive/warehouse/mydb.db/dept_partition2/day20200401/hour15;hive (default) load data local inpath /export/server/hive-3.1.2/datas/dept_20200401.log into tabledept_partition2 partition(day20200401,hour15);查询数据
hive (default) select * from dept_partition2 where day20200401 and hour15;动态分区 关系型数据库中对分区表Insert数据时候数据库自动会根据分区字段的值将数据插入到相应的分区中Hive中也提供了类似的机制即动态分区(Dynamic Partition)只不过使用Hive的动态分区需要进行相应的配置。 开启动态分区参数设置
1开启动态分区功能默认true开启
hive.exec.dynamic.partitiontrue2设置为非严格模式动态分区的模式默认strict表示必须指定至少一个分区为静态分区nonstrict模式表示允许所有的分区字段都可以使用动态分区。
hive.exec.dynamic.partition.modenonstrict3在所有执行MR的节点上最大一共可以创建多少个动态分区。默认1000
hive.exec.max.dynamic.partitions10004在每个执行MR的节点上最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如源数据中包含了一年的数据即day字段有365个值那么该参数就需要设置成大于365如果使用默认值100则会报错。
hive.exec.max.dynamic.partitions.pernode1005整个MR Job中最大可以创建多少个HDFS文件。默认100000
hive.exec.max.created.files1000006当有空分区生成时是否抛出异常。一般不需要设置。默认false
hive.error.on.empty.partitionfalse案例实操 需求将dept表中的数据按照地区loc字段插入到目标表dept_partition的相应分区中。 1创建目标分区表 hive (default) create table dept_partition_dy(id int, name string) partitioned by (loc int) row format delimited fields terminated by \t;2设置动态分区
set hive.exec.dynamic.partition.mode nonstrict;
hive (default) insert into table dept_partition_dy partition(loc) select deptno, dname, loc from dept;3查看目标分区表的分区情况
hive (default) show partitions dept_partition;扩展问题目标分区表是如何匹配到分区字段的 位置默认最后一列是分区列“伪”列在最后 全文结束
