响应式网站无法做联盟广告,网站升级及政务新媒体建设方案,无锡找做网站公司,WordPress重新安装删除哪个目录
一、冷热分层介绍
二、存储策略#xff08;Storage policy#xff09;
2.1 创建存储资源
2.2 创建存储策略
2.3 使用存储策略
三、使用限制 一、冷热分层介绍 冷热分层支持所有 Doris 功能#xff0c;只是把部分数据放到对象存储上#xff0c;以节省成本Storage policy
2.1 创建存储资源
2.2 创建存储策略
2.3 使用存储策略
三、使用限制 一、冷热分层介绍 冷热分层支持所有 Doris 功能只是把部分数据放到对象存储上以节省成本不牺牲功能。因此有如下特点
冷数据放到对象存储上用户无需担心数据一致性和数据安全性问题灵活的 Freeze 策略冷却远程存储 Property 可以应用到表和 Partition 级别用户查询数据无需关注数据分布位置若数据不在本地会拉取对象上的数据并 cache 到 BE 本地副本 clone 优化若存储数据在对象上则副本 clone 的时候不用去拉取存储数据到本地远程对象空间回收 recycler若表、分区被删除或者冷热分层过程中异常情况产生的空间浪费则会有 recycler 线程周期性的回收节约存储资源cache 优化将访问过的冷数据 cache 到 BE 本地达到非冷热分层的查询性能BE 线程池优化区分数据来源是本地还是对象存储防止读取对象延时影响查询性能
二、存储策略Storage policy 存储策略是使用冷热分层功能的入口用户只需要在建表或使用 Doris 过程中给表或分区关联上 Storage policy即可以使用冷热分层的功能。
2.1 创建存储资源 仅 root 或 admin 用户可以创建资源。目前支持 Spark, ODBC, S3, JDBC, HDFS, HMS, ES 外部资源。 #创建资源 CREATE RESOURCE s3_minio PROPERTIES ( type s3, s3.endpoint http://192.168.179.134:9000, s3.region bj, s3.access_key minio, s3.secret_key minio123456, s3.root.path /data/opt/minio/data, s3.bucket doris ); # 查看资源 SHOW RESOURCES WHERE NAME s3_minio; #删除资源 DROP RESOURCE s3_minio 2.2 创建存储策略 #创建存储测试 CREATE STORAGE POLICY s3_minio_policy PROPERTIES ( storage_resource s3_minio, cooldown_ttl 1d ) #查看存储策略 SHOW STORAGE POLICY; #删除存储策略 DROP STORAGE POLICY s3_minio_policy 2.3 使用存储策略 新建表时指定存储策略 CREATE TABLE IF NOT EXISTS create_table_use_created_policy ( k1 BIGINT, k2 LARGEINT, v1 VARCHAR(2048) ) UNIQUE KEY(k1) DISTRIBUTED BY HASH (k1) BUCKETS 3 PROPERTIES( storage_policy s3_minio_policy ); 对一个已存在的表关联 Storage policy ALTER TABLE create_table_not_have_policy set (storage_policy s3_minio_policy); 对一个已存在的 partition关联 Storage policy ALTER TABLE create_table_partition MODIFY PARTITION (*) SET(storage_policys3_minio_policy); 三、使用限制 单表或单 Partition 只能关联一个 Storage policy关联后不能 Drop 掉 Storage policy需要先解除二者的关联。Storage policy 关联的对象信息不支持修改数据存储 path 的信息比如 bucket、endpoint、root_path 等信息Storage policy 支持创建 和修改和支持删除删除前需要先保证没有表引用此 Storage policy。Unique 模型在开启 Merge-on-Write 特性时不支持设置 Storage policy。
