自己如何做网站优化,wordpress替换成自己的php项目,竞价网络推广,wordpress建设的网站前言
自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章
组件：
flink: 1.15
参考文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sourcessinks/
分析
inser…前言
自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章
组件：
flink: 1.15
参考文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sourcessinks/
分析
insert overwrite 即在批模式下 先清除表的数据 再插入
在大数据多并发模式下 只能执行一次清空数据 且需要在执行插入数据之前先清理
在flink 支持的连接器中 只有 hive和文件系统此2中连接器支持insert overwrite功能,可参考他们的实现方式
此处演示例子
source: flink jdbc连接器
sink : 自定义flink jdbc连接器
加工： insert overwriteosd_user_test select * from ods_user
关键点是在 执行 overwrite 语句时 在任务开始前或结束时 清空原表的数据，且此操作只执行一次，不然会有其他并发执行写入数据了 在执行清数据情况造成漏数
查看FileSystem sink的源代码
