html商务网站模板,广告公司网站制作,做商城网站哪里,2017网站风格表引擎决定了如何存储表的数据。包括#xff1a;
数据的存储方式和位置#xff0c;写到哪里以及从哪里读取数据。(默认是在安装路径下的 data 路径)支持哪些查询以及如何支持。#xff08;有些语法只有在特定的引擎下才能用#xff09;并发数据访问。索引的使用#xff0… 表引擎决定了如何存储表的数据。包括
数据的存储方式和位置写到哪里以及从哪里读取数据。(默认是在安装路径下的 data 路径)支持哪些查询以及如何支持。有些语法只有在特定的引擎下才能用并发数据访问。索引的使用如果存在。是否可以执行多线程请求。数据复制参数。 表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎以及引擎使用的相关参数。
特别注意引擎的名称大小写敏感, 驼峰命名。
①TinyLog 以列文件的形式保存在磁盘上不支持索引没有并发控制。一般保存少量数据的小表生产环境上作用有限。可以用于平时练习测试用。
如
create table t_tinylog ( id String, name String) engineTinyLog;②Memory 内存引擎数据以未压缩的原始形式直接保存在内存当中服务器重启数据就会消失。读写操作不会相互阻塞不支持索引。简单查询下有非常非常高的性能表现超过 10G/s。 一般用到它的地方不多除了用来测试就是在需要非常高的性能同时数据量又不太大上限大概 1 亿行的场景。
③MergeTree ClickHouse 中最强大的表引擎当属 MergeTree合并树引擎及该系列*MergeTree中的其他引擎支持索引和分区地位可以相当于 innodb 之于 Mysql。而且基于 MergeTree还衍生除了很多小弟也是非常有特色的引擎。
create table t_order_mt(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);MergeTree 其实还有很多参数(绝大多数用默认值即可)但是三个参数是更加重要的也涉及了关于 MergeTree 的很多概念。
partition by 分区(可选) 作用 学过 hive 的应该都不陌生分区的目的主要是降低扫描的范围优化查询速度 如果不填 只会使用一个分区 —— all。 分区目录 MergeTree 是以列文件索引文件表定义文件组成的但是如果设定了分区那么这些文件就会保存到不同的分区目录中。目录保存在本地磁盘 并行 分区后面对涉及跨分区的查询统计ClickHouse 会以分区为单位并行处理 即一个线程处理一个分区内的数据。 数据写入与分区合并 任何一个批次的数据写入都会产生一个临时分区不会纳入任何一个已有的分区。写入后的某个时刻大概 10-15 分钟后ClickHouse 会自动执行合并操作等不及也可以手动通过 optimize 执行把临时分区的数据合并到已有分区中。
optimize table xxxx final;primary key 主键(可选) ClickHouse 中的主键和其他数据库不太一样它只提供了数据的一级索引但是却不是唯一约束。这就意味着是可以存在相同 primary key 的数据的。 主键的设定主要依据是查询语句中的 where 条件。 根据条件通过对主键进行某种形式的二分查找能够定位到对应的 index granularity,避免了全表扫描。 index granularity 直接翻译的话就是索引粒度指在稀疏索引中两个相邻索引对应数据的间隔。ClickHouse 中的 MergeTree 默认是 8192。官方不建议修改这个值除非该列存在大量重复值比如在一个分区中几万行才有一个不同数据。
稀疏索引
稀疏索引的好处就是可以用很少的索引数据定位更多的数据代价就是只能定位到索引粒度的第一行然后再进行进行一点扫描。 order by必选 order by 设定了分区内的数据按照哪些字段顺序进行有序保存。 order by 是 MergeTree 中唯一一个必填项甚至比 primary key 还重要因为当用户不设置主键的情况很多处理会依照 order by 的字段进行处理比如后面会讲的去重和汇总。 要求主键必须是 order by 字段的前缀字段。有点类似 SQL 索引中的最左前缀。 比如 order by 字段是 (id,sku_id) 那么主键必须是 id 或者(id,sku_id) 二级索引(跳数索引) 目前在 ClickHouse 的官网上二级索引的功能在 v20.1.2.4 之前是被标注为实验性的在这个版本之后默认是开启的。 老版本使用二级索引前需要增加设置 是否允许使用实验性的二级索引v20.1.2.4 开始这个参数已被删除默认开启。
set allow_experimental_data_skipping_indices1;创建测试表
create table t_order_mt2(
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime,
INDEX a total_amount TYPE minmax GRANULARITY 5
) engine MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);最主要的是需要加上这一句INDEX a total_amount TYPE minmax GRANULARITY 5 其中 INDEX a 定义一个索引并命名为 atotal_amount 索引字段名称 TYPE minmax 定义类型 保存最大最小值GRANULARITY N是设定二级索引对于一级索引粒度的粒度。一级索引会记录每个分区的最大最小值二级索引就是在一级索引的基础上取每 N 个分区合在一起的最大最小值。 数据 TTL数据存活时间 TTL 即 Time To LiveMergeTree 提供了可以管理数据表或者列的生命周期的功能。过期的数据不会立马处理只是会做标记等到合并时一起处理。
列级别 TTL 创建测试表
create table t_order_mt3(
id UInt32,
sku_id String,
total_amount Decimal(16,2) TTL create_timeinterval 10 SECOND,
create_time Datetime
) engine MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);在列后加上 TTL create_timeinterval 10 SECOND, 其中 TTL定义一个过期时间create_time使用了当前表中的一个 Datetime 类型的列TTL 中引用的字段不能是主键字段且类型必须是 日期类型± interval 10 SECOND需要增加/减少的 时间长度 时间单位 注如果在建表时没有加 TTL 配置需要在建表之后加那么则需要使用如下语法
ALTER TABLE 表名MODIFY COLUMN列名 列数据类型 TTL d INTERVAL 10 SECOND;表级 TTL 与列级相同在建表时与建表之后都有对应的语法进行设置。 1在建表时写在 Order By 的后面
CREATE TABLE example_table
(d DateTime,a Int
)
ENGINE MergeTree
PARTITION BY toYYYYMM(d)
ORDER BY d
TTL d INTERVAL 1 MONTH [DELETE],d INTERVAL 1 WEEK TO VOLUME aaa,d INTERVAL 2 WEEK TO DISK bbb;该示例中的 [DELETE]、TO VOLUME……在下文注意中说明。 2在建表之后使用 alter
alter table t_order_mt3 MODIFY TTL create_time INTERVAL 10 SECOND;表级的 TTL 如果是按照表中字段值判断是否过期那么不会整表删除只会是某一行数据到期删某一行。 注意 涉及判断的字段必须是 Date 或者 Datetime 类型推荐使用分区的日期字段。 能够使用的时间单位 SECONDMINUTEHOURDAYWEEKMONTHQUARTER YEAR 上文提到的 [DELETE]、TO VOLUME…… 表示的是过期之后需要做的操作。可选的配置如下
DELETE - 删除数据 默认不配置则删除;RECOMPRESS codec_name - 使用codec_name重新压缩数据部分TO DISK ‘aaa’ - 将数据移动到磁盘 aaa 上TO VOLUME ‘bbb’ - 将数据移动到磁盘 bbb 上GROUP BY - 聚合过期行.
④ReplacingMergeTree ReplacingMergeTree 是 MergeTree 的一个变种它存储特性完全继承 MergeTree只是多了一个去重的功能。 尽管 MergeTree 可以设置主键但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据可以借助这个 ReplacingMergeTree。去重按照order by的字段去重 去重时机 数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行所以你无法预先作出计划。有一些数据可能仍未被处理。 去重范围 如果表经过了分区去重只会在分区内部进行去重不能执行跨分区的去重。 所以 ReplacingMergeTree 能力有限 ReplacingMergeTree 适用于在后台清除重复的数据以节省空间但是它不保证没有重复的数据出现。
案例演示 创建表
create table t_order_rmt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime
) engine ReplacingMergeTree(create_time)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id, sku_id);ReplacingMergeTree() 填入的参数为版本字段重复数据保留版本字段值最大的。如果不填版本字段默认按照插入顺序保留最后一条。
通过测试得到结论 实际上是使用 order by 字段作为唯一键 去重不能跨分区 只有同一批插入新版本或合并分区时才会进行去重 认定重复的数据保留版本字段值最大的 如果版本字段相同则按插入顺序保留最后一笔 ⑤ SummingMergeTree 对于不查询明细只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree的话无论是存储空间的开销还是查询时临时聚合的开销都比较大。 ClickHouse 为了这种场景提供了一种能够“预聚合”的引擎 SummingMergeTree。该引擎聚合的依据依然是 order by 的字段相当于按照 order by 的字段做了一次 Group By。
案例演示 创建表
create table t_order_smt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime
) engine SummingMergeTree(total_amount)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id );通过结果可以得到以下结论 以 SummingMergeTree中指定的列作为汇总数据列可以填写多列必须数字列如果不填以所有非维度列且为数字列的字段为汇总数据列以 order by 的列为准作为维度列其他的列按插入顺序保留第一行不在一个分区的数据不会被聚合只有在同一批次插入(新版本)或分片合并时才会进行聚合 开发建议 设计聚合表的话唯一键值、流水号可以去掉所有字段全部是维度、度量或者时间戳。
问题 能不能直接执行以下 SQL 得到汇总值
select total_amount from XXX where province_name’’ and create_date’xxx’答 不行可能会包含一些还没来得及聚合的临时明细 如果要是获取汇总值还是需要使用 sum 进行聚合这样效率会有一定的提高但本身 ClickHouse 是列式存储的效率提升有限不会特别明显。
select sum(total_amount) from province_name’’ and create_date‘xxx’总结
