网络网站知识app,wordpress文章时间标签,wordpress面包屑文字大小如何调整,网站演示代码分析回答
Flink 反压机制
Flink 如何处理反压?
Storm 反压机制 Storm反压机制 Storm 在每一个 Bolt 都会有一个监测反压的线程#xff08;Backpressure Thread#xff09;#xff0c;这个线程一但检测到 Bolt 里的接收队列#xff08;recv queue#xff09;出现了…分析回答
Flink 反压机制
Flink 如何处理反压?
Storm 反压机制 Storm反压机制 Storm 在每一个 Bolt 都会有一个监测反压的线程Backpressure Thread这个线程一但检测到 Bolt 里的接收队列recv queue出现了严重阻塞就会把这个情况写到 ZooKeeper 里ZooKeeper 会一直被 Spout 监听监听到有反压的情况就会停止发送。因此通过这样的方式匹配上下游的发送接收速率。 Storm 提供的最基本的处理 stream 的原语是 spout 和 bolt。 ①spout 是流的源头。 通常 spout 从外部数据源队列、数据库等读取数据然后封装成Tuple形式之后发送到Stream中。 ② bolt 处理输入的Stream并产生新的输出Stream。bolt 可以执行Filter、Map、Join等操作。bolt 是一个被动的 角色其接口中有一个execute(Tuple input)方法在接收到消息之后会调用此函数用户可以在此方法中执行自己的处理逻辑。 Spark Streaming 反压机制 Spark streaming反压机制
组件 RateController 监听负责监听“OnBatchCompleted”事件然后从中抽取processingDelay 及schedulingDelay信息。RateEstimator 依据这些信息估算出最大处理速度rate最后由基于Receiver的Input Stream 将 rate 转发给 Executor 的 BlockGenerator并更新RateLimiter。
对比Flink、Storm、Spark Streaming 的反压机制
Flink、Storm、Spark Streaming 的反压机制都采用动态反馈/自动反压原理可以动态反映节点限流情况进而实现自动的动态反压。 Flink、Storm、Spark Streaming 反压机制的区别 ① Flink 是天然的流处理引擎数据传输的过程相当于提供了反压类似管道里的水下游流动慢自然导致下游也慢所以不需要一种特殊的机制来处理反压。 ② Storm 利用 Zookeeper 组件和流量监控的线程实现反压机制其中存在的问题有实现复杂、bolt 接收队列暴涨导致OOM、反压慢。 ③ Spark Streaming 是微批处理可以根据前一批次数据的处理情况动态、自动的调整后续数据的摄入量其中存在的问题有实现复杂、时效性较差。 喵呜面试助手一站式解决面试问题你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] - 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享
