网站后台功能模块设计,网址免费制作app,北京最大公司排名,张槎网站设计大数据学习
#x1f525;系列专栏#xff1a; #x1f451;哲学语录: 承认自己的无知#xff0c;乃是开启智慧的大门 #x1f496;如果觉得博主的文章还不错的话#xff0c;请点赞#x1f44d;收藏⭐️留言#x1f4dd;支持一下博主哦#x…大数据学习
系列专栏 哲学语录: 承认自己的无知乃是开启智慧的大门 如果觉得博主的文章还不错的话请点赞收藏⭐️留言支持一下博主哦 Hive文件格式
为Hive表中的数据选择一个合适的文件格式对提高查询性能的提高是十分有益的。Hive表数据的存储格式可以选择text file、orc、parquet、sequence file等。
Text File
文本文件是Hive默认使用的文件格式文本文件中的一行内容就对应Hive表中的一行记录。
可通过以下建表语句指定文件格式为文本文件:
create table textfile_table(column_specs)stored as textfile;
ORC
1文件格式
ORCOptimized Row Columnarfile format是Hive 0.11版里引入的一种列式存储的文件格式。ORC文件能够提高Hive读写数据和处理数据的性能。
与列式存储相对的是行式存储下图是两者的对比 如图所示左边为逻辑表右边第一个为行式存储第二个为列式存储。
1行存储的特点
查询满足条件的一整行数据的时候列存储则需要去每个聚集的字段找到对应的每个列的值行存储只需要找到其中一个值其余的值都在相邻地方所以此时行存储查询的速度更快。
2列存储的特点
因为每个字段的数据聚集存储在查询只需要少数几个字段的时候能大大减少读取的数据量每个字段的数据类型一定是相同的列式存储可以针对性的设计更好的设计压缩算法。
前文提到的text file和sequence file都是基于行存储的orc和parquet是基于列式存储的。
每个Orc文件由Header、Body和Tail三部分组成。
其中Header内容为ORC用于表示文件类型。
Body由1个或多个stripe组成每个stripe一般为HDFS的块大小每一个stripe包含多条记录这些记录按照列进行独立存储每个stripe里有三部分组成分别是Index DataRow DataStripe Footer。
Index Data一个轻量级的index默认是为各列每隔1W行做一个索引。每个索引会记录第n万行的位置和最近一万行的最大值和最小值等信息。
Row Data存的是具体的数据按列进行存储并对每个列进行编码分成多个Stream来存储。
Stripe Footer存放的是各个Stream的位置以及各column的编码信息。
Tail由File Footer和PostScript组成。File Footer中保存了各Stripe的其实位置、索引长度、数据长度等信息各Column的统计信息等PostScript记录了整个文件的压缩类型以及File Footer的长度信息等。
在读取ORC文件时会先从最后一个字节读取PostScript长度进而读取到PostScript从里面解析到File Footer长度进而读取FileFooter从中解析到各个Stripe信息再读各个Stripe即从后往前读。
3建表语句
create table orc_table(column_specs)stored as orctblproperties (property_nameproperty_value, ...);
ORC文件格式支持的参数如下 参数 默认值 说明 orc.compress ZLIB 压缩格式可选项NONE、ZLIB,、SNAPPY orc.compress.size 262,144 每个压缩块的大小ORC文件是分块压缩的 orc.stripe.size 67,108,864 每个stripe的大小 orc.row.index.stride 10,000 索引步长每隔多少行数据建一条索引 Parquet
Parquet文件是Hadoop生态中的一个通用的文件格式它也是一个列式存储的文件格式。
上图展示了一个Parquet文件的基本结构文件的首尾都是该文件的Magic Code用于校验它是否是一个Parquet文件。
首尾中间由若干个Row Group和一个FooterFile Meta Data组成。
每个Row Group包含多个Column Chunk每个Column Chunk包含多个Page。以下是Row Group、Column Chunk和Page三个概念的说明
行组Row Group一个行组对应逻辑表中的若干行。
列块Column Chunk一个行组中的一列保存在一个列块中。
页Page一个列块的数据会划分为若干个页。
FooterFile Meta Data中存储了每个行组Row Group中的每个列快Column Chunk的元数据信息元数据信息包含了该列的数据类型、该列的编码方式、该类的Data Page位置等信息。
3建表语句
Create table parquet_table(column_specs)stored as parquettblproperties (property_nameproperty_value, ...);
支持的参数如下 参数 默认值 说明 parquet.compression uncompressed 压缩格式可选项uncompressedsnappygziplzobrotlilz4 parquet.block.size 134217728 行组大小通常与HDFS块大小保持一致 parquet.page.size 1048576 页大小
