灰色网站模板,家居装修公司,网站空间虚拟主机续费,游戏开发公司哪家好TAG 在传统数仓场景中#xff0c;从传统数据库中导入的事实表数据一般是全量导入#xff0c;按天分区每天都存储一份全量数据#xff0c;paimon对此提供了Tag机制#xff0c;创建TAG时#xff0c;会对当前数据做一份全量快照#xff0c;在之后对表的数据进行更新也不会影…TAG 在传统数仓场景中从传统数据库中导入的事实表数据一般是全量导入按天分区每天都存储一份全量数据paimon对此提供了Tag机制创建TAG时会对当前数据做一份全量快照在之后对表的数据进行更新也不会影响已经打完TAG的数据。 其实就是对当前的数据做镜像或者说做备份 维护创建
https://paimon.apache.org/docs/0.9/maintenance/manage-tags/
-- 创建
bin/flink run \
lib/paimon-flink-action-0.9.0.jar \
create_tag \
--warehouse file:///data/soft/paimon/catalog \
--database default \
--table t_tags \
--tag_name first_tag-- 删除
bin/flink run \
lib/paimon-flink-action-0.9.0.jar \
delete_tag \
--warehouse file:///data/soft/paimon/catalog \
--database default \
--table t_tags \
--tag_name first_tag-- 回滚到指定tag版本还原当时的数据
bin/flink run \
lib/paimon-flink-action-0.9.0.jar \
rollback_to \
--warehouse file:///data/soft/paimon/catalog \
--database default \
--table t_tags \
--version first_tag
使用TAG
CREATE TABLE t_tags (age BIGINT,money BIGINT,id STRING,PRIMARY KEY (id) NOT ENFORCED
);
insert into t_tags values(10,1000,1);-- 创建第一个tag
bin/flink run \
lib/paimon-flink-action-0.9.0.jar \
create_tag \
--warehouse file:///data/soft/paimon/catalog \
--database default \
--table t_tags \
--tag_name first_taginsert into t_tags values(20,2000,2);bin/flink run \
lib/paimon-flink-action-0.9.0.jar \
create_tag \
--warehouse file:///data/soft/paimon/catalog \
--database default \
--table t_tags \
--tag_name second_tagselect * from t_tags$tags;
Flink SQL select * from t_tags$tags;
-------------------------------------------------------------------------------------------------------
| tag_name | snapshot_id | schema_id | commit_time | record_count | create_time | time_retained |
-------------------------------------------------------------------------------------------------------
| first_tag | 1 | 0 | 2024-12-19 15:05:18.802 | 1 | NULL | NULL |
| second_tag | 2 | 0 | 2024-12-19 15:08:14.165 | 2 | NULL | NULL |
-------------------------------------------------------------------------------------------------------Flink SQL select * from t_tags;
----------------
| age | money | id |
----------------
| 10 | 1000 | 1 |
| 20 | 2000 | 2 |
----------------Flink SQL select * from t_tags/* OPTIONS(scan.tag-name first_tag) */;
----------------
| age | money | id |
----------------
| 10 | 1000 | 1 |
----------------
1 row in set-- 修改tag中数据
insert into t_tags_auto values(20,1000,1);Flink SQL select * from t_tags;
----------------
| age | money | id |
----------------
| 20 | 1000 | 1 |
| 20 | 2000 | 2 |
----------------
2 rows in set-- 查询tag发现没有影响
Flink SQL select * from t_tags/* OPTIONS(scan.tag-name first_tag) */;
----------------
| age | money | id |
----------------
| 10 | 1000 | 1 |
----------------
1 row in set
自动创建TAG
-- Flink SQL
CREATE TABLE t (k INT PRIMARY KEY NOT ENFORCED,f0 INT,...
) WITH (tag.automatic-creation process-time, -- 时间模式 watermark/batchtag.creation-period daily, -- 循环周期 hourly/two-hourtag.creation-delay 10 m, -- 延迟触发时间tag.num-retained-max 90 -- tag保存90个,超出自动删除
);
