可信赖的坪山网站建设,如何开展一个网络营销活动,cms免费源码,大兴安岭建设局网站亲爱的社区伙伴们#xff0c;Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持#xff0c;并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外#xff0c;整库同步所依赖的 FlinkCDC#xff0c;也需升级…亲爱的社区伙伴们Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外整库同步所依赖的 FlinkCDC也需升级至 3.1.x 版本以便更好的应用。
下载地址https://github.com/apache/doris-flink-connector/releases/tag/24.0.0
行为变更
将整库同步所依赖的 FlinkCDC 版本升级至 FlinkCDC 3.1.x。由于 FlinkCDC 3.1 及后续版本已捐赠给 Apache 基金会并与 FlinkCDC 2.4 版本不兼容因此在升级 Doris Flink Connector 时已运行的整库同步作业无法从之前的状态重启需要在将 Flink CDC 升级到 3.1 版本后进行一次无状态重启。具体可参考 Apache Flink CDC 3.1.0 发布公告 兼容性章节。考虑到上述不兼容性以及与其他 Connector如 Spark 和 Kafka版本的一致性我们将 Connector 版本号更改为 24.x 系列。具体可参考 [DISCUSS] About the next version change of Connector
新增功能
支持 Flink 1.20支持 DB2 的数据库同步CDC SchemaChange 支持使用 JSQLParser 框架解析 DDL支持 Stream Load GZ 压缩导入支持通过 Arrow Flight SQL 读取 Doris 中数据
改进提升
升级 FlinkCDC 版本到 3.1.1支持 DB2/Postgres/SQLServer 进行数据同步的 JDBC 参数设置优化攒批写入模式优化部分 CDC 同步的逻辑MySQL 整库同步支持 Integer 类型
Bug 修复
修复 Map 子类型为 Date/Datetime 类型时的读取序列化问题修复 FlinkSQL 投影下推的 Bug修复 MongoDB 同步 Decimal 类型的问题兼容 Doris 修复 arrow 读取 timestamp 类型的问题CDC 整库同步修复 delete 事件不生效的问题修复 Schema Change 默认值空时转换逻辑错误的问题
致谢
在此向参与版本设计、开发、测试、讨论的社区贡献者们表示感谢他们分别是
bingquanzhao
DongLiang-0
JasonLeeCoding
JNSimbaMaoMiMao
qg-lintmc9031
vinlee19
