陕西民盛建设有限公司网站指数基金投资指南

用Flink+Doris来开发实时数仓，首要解决是如何接入kafka实时流，下面是参考Doris官方文档和代码，在自己项目开发的实践中总结，包括一些容易踩坑的细节。

目录

Routine Load方法

 接入kafka实时数据

踩坑的问题细节 

Flink Doris Connector方法

完整示例

Routine Load方法

如果Doris是2.1以上，不需要复杂的数据转换的，建议使用Doris自带的Routine Load，实测使用方便，性能高。

 接入kafka实时数据

Doris 可以通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据。在提交 Routine Load 作业后，Doris 会持续运行该导入作业，实时生成导入任务不断消费 Kakfa 集群中指定 Topic 中的消息。

Routine Load 是一个流式导入作业，支持 Exactly-Once 语义，保证数据不丢不重。下面示例如何通过拉入kafka数据(json格式）：<