英文手机网站模板,公司网站建设精英,网站外链平台,wordpress 用户授权引言
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目#xff01;
在这个栏目中#xff0c;每周将筛选社区反馈的热门问题和话题#xff0c;重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目#xff0c;希望帮助社…引言
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目
在这个栏目中每周将筛选社区反馈的热门问题和话题重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目希望帮助社区小伙伴更好地了解和应用 Apache Doris促进经验交流和技术共享。
SQL问题
Q1 dori建完倒排索引后如何判断sql是否走了索引
A1 可以通过 Query Profile 中的下面几个指标分析倒排索引的加速效果
RowsInvertedIndexFiltered 倒排过滤掉的行数可以与其他几个 Rows 值对比分析索引过滤效果InvertedIndexFilterTime 倒排索引消耗的时间InvertedIndexSearcherOpenTime 倒排索引打开索引的时间InvertedIndexSearcherSearchTime 倒排索引内部查询的时间 倒排索引内容可查阅 https://doris.apache.org/zh-CN/docs/dev/table-design/index/inverted-index
Q2 doris动态分区的修改有什么注意事项
A2 注意数据不要出现分区交集要注意历史数据的保留时间如果分区的区间设置不对可能出现历史分区被删除的情况:
ALTER TABLE example_db.my_table set (
dynamic_partition.enable true,
dynamic_partition.time_unit DAY, -- 注意区间startdynamic_partition.start ,-- 注意区间historydynamic_partition.history_partition_num ,-- 注意区间end
dynamic_partition.end 3,
dynamic_partition.prefix p,
dynamic_partition.buckets 32
);分区修改内容可查阅
Q3 doris查询时报runtime filter如何处理
A3 如下
适当调大Session 变量runtime_filter_wait_time_ms后续Doris会发布一个更智能的等待策略 Runtime Filter内容可查阅
数据操作问题
Q4 JDBC 连接2.1.x 版本的Power BI报Character set ‘utf8mb3’ is not supported by .Net.Framework
A4 该问题易在2.1.x 版本容易遇到如果遇到该问题则需要把 JDBC Driver 升级到8.0.32。
Q5 Tableau连接Doris时报SSL connection error:protocol version mismatch 无法连接到 MySQL 服务器
A5 该报错原因是 Doris 开启了 SSL 验证但是连接过程中未使用 SSL 连接需要在 fe.conf 里面关闭 enable_ssl 变量。
Q6 连接 Hive Catalog 报Caused by: java.lang.NullPointerException
如 fe.log 中有如下堆栈
Caused by: java.lang.NullPointerExceptionat org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.getFilteredObjects(AuthorizationMetaStoreFilterHook.java:78) ~[hive-exec-3.1.3-core.jar:3.1.3]at org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.filterDatabases(AuthorizationMetaStoreFilterHook.java:55) ~[hive-exec-3.1.3-core.jar:3.1.3]at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1548) ~[doris-fe.jar:3.1.3]at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1542) ~[doris-fe.jar:3.1.3]at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_181]A6 可以尝试在 create catalog 语句中添加 如下参数 解决
metastore.filter.hook
org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImplHive Catalog可查阅
Q7 使用 Stream Load 访问 FE 的公网地址导入数据被redirect重定向到内网 IP
A7 当 stream load 的连接目标为 FE 的 http 端口时FE 仅会随机选择一台 BE 节点做 http 307 redirect 操作因此用户的请求实际是发送给 FE 指派的某一个 BE 的。 而 redirect 返回的是 BE 的 ip也即内网 IP。所以如果你是通过 FE 的公网 IP 发送的请求很有可能因为 redirect 到内网地址而无法连接。 通常的做法一种是确保自己能够访问内网 IP 地址或者是给所有 BE 上层架设一个负载均衡然后直接将 stream load 请求发送到负载均衡器上由负载均衡将请求透传到 BE 节点。
运维常见问题
Q8 doris表drop后如何让对应的tablet快速清理掉
A8 如下
-- 先设置回收站时间为0
ADMIN SET FRONTEND CONFIG (catalog_trash_expire_second 0);
-- 再清空回收站
ADMIN CLEAN TRASH
-- 再恢复回收站时间
ADMIN SET FRONTEND CONFIG (catalog_trash_expire_second 86400);
-- 查看回收站中可回收的库表或分区元数据信息
SHOW CATALOG RECYCLE BIN;Q9 通过 DECOMMISSION 下线 BE 节点时为什么总会有部分 tablet 残留
A9 在下线过程中通过 show backends 查看下线节点的 tabletNum会观察到 tabletNum 数量在减少说明数据分片正在从这个节点迁移走。当数量减到 0 时系统会自动删除这个节点。 但某些情况下tabletNum 下降到一定数值后就不变化。这通常可能有以下两种原因
1. 这些 tablet 属于刚被删除的表、分区或物化视图。
而刚被删除的对象会保留在回收站中。而下线逻辑不会处理这些分片。
可以通过修改 FE 的配置参数 catalog_trash_expire_second 来修改对象在回收站中驻留的时间。
当对象从回收站中被删除后这些 tablet 就会被处理了。2. 这些 tablet 的迁移任务出现了问题。
此时需要通过 show proc /cluster_balance 来查看具体任务的错误了。对于以上情况可以先通过 show proc “/cluster_health/tablet_health”; 查看集群是否还有 unhealthy 的分片如果为 0 则可以直接通过 drop backend 语句删除这个 BE。 否则还需要具体查看不健康分片的副本情况。 Doris BE节点下线卡住快速排障技巧全攻略
其它问题
Q10 初识Doris有什么方式可以快速体验下Doris实时数仓的链路
A10 基于Docker搭建一套演示环境分钟级快速体验Doris实时数仓的采-存-用链路Doris之旅基础篇Docker快速体验二
