公司名称 网站域名 关联,青岛 建网站,html设计素材网站,开平网络推广背景
在flink中#xff0c;有几个比较重要的概念#xff0c;逻辑DataFlow图#xff0c;物理DataFlow图以及处理槽执行任务#xff0c;本文就来讲解下这几个概念
概念详解
假设有以下代码#xff1a;数据源和统计单词算子的并行度是2#xff0c;数据汇算子的并行度是1有几个比较重要的概念逻辑DataFlow图物理DataFlow图以及处理槽执行任务本文就来讲解下这几个概念
概念详解
假设有以下代码数据源和统计单词算子的并行度是2数据汇算子的并行度是1当前集群有100个空闲的处理槽(分别从SLOT_{A,B,C…}) 可以看到最终我们只使用了两个处理槽,分别是SLOT_A和SLOT_B,使用的处理槽的数量和设置的算子最大并行度一样然后在每个处理槽内对于每个任务处理槽会分别开启一个Thread线程进行处理,这里你会不会觉得很奇怪我还有这么多空闲的处理槽为何只用了其中的两个 这其实是由flink的任务调度策略决定的其决定的依据这样分配当有很多job在同时执行时可以达到最佳的资源分配详见官方文档的解释
