做行业网站能赚钱吗,旅游app用户人群分析,wordpress医疗模板,wordpress中文docker1.Kappa架构介绍 Kappa架构由Jay Kreps提出#xff0c;不同于Lambda同时计算和批计算并合并视图#xff0c;Kappa只会通过流计算一条的数据链路计算并产生视图。Kappa同样采用了重新处理事件的原则#xff0c;对于历史数据分析类的需求#xff0c;Kappa要求数据的长期存储能…1.Kappa架构介绍 Kappa架构由Jay Kreps提出不同于Lambda同时计算和批计算并合并视图Kappa只会通过流计算一条的数据链路计算并产生视图。Kappa同样采用了重新处理事件的原则对于历史数据分析类的需求Kappa要求数据的长期存储能够以有序日志流的方式重新流入流计算引擎重新产生历史数据的视图。本质上是通过改进Lambda架构中的Speed Layer使它既能够进行实时数据处理同时也有能力在业务逻辑更新的情况下重新处理以前处理过的历史数据。 Kappa架构的原理就是在Lambda的基础上进行了优化删除了Batch Layer的架构将数据通道以消息队列进行替代。因此对于Kappa架构来说依旧以流处理为主但是数据却在数据湖层面进行了存储当需要进行离线分析或者再次计算的时候则将数据湖的数据再次经过消息队列重播一次则可。
2.Kappa架构的优缺点 Kappa架构的优点在于将实时和离线代码统一起来方便维护而且统一了数据口径的问题避免了Lambda架构中与离线数据合并的问题查询历史数据的时候只需要重放存储的历史数据即可。而Kappa的缺点也很明显 1消息中间件缓存的数据量和回溯数据有性能瓶颈。通常算法需要过去180天的数据如果都存在消息中间件五一有非常大的压力。同时一次性回溯订正180天级别的数据对实时计算的资源消耗也非常大。 2在实时数据处理时遇到大量不同的实时留进行关联时非常依赖实时计算系统的能力很可能因为数据流先后顺序问题导致数据丢失。 3Kappa在抛弃了离线数据处理模块的时候同时抛弃了离线计算更叫稳定可靠的特点。Lambda虽然保证了离线计算的稳定性但双系统的维护成本高且两套代码带来后期运维困难。
