php网站怎么搭建环境配置,百度关键词优化多少钱,安徽建站平台,合肥网站建设价格在我实习的第一家公司的时候#xff0c;有幸参与Apache Griffin的开发#xff0c;也先后在一起其他公司使用过数据质量平台#xff0c;同时也调研过一些开源的数据质量平台。
最近和朋友一起参与开发了datavines数据质量平台#xff0c;随着在数据行业越呆越久#xff0c…在我实习的第一家公司的时候有幸参与Apache Griffin的开发也先后在一起其他公司使用过数据质量平台同时也调研过一些开源的数据质量平台。
最近和朋友一起参与开发了datavines数据质量平台随着在数据行业越呆越久我想再聊一聊数据质量以及 我眼中的开源项目 datavines。 Griffin
优点:开源早有一些成熟的公司借鉴和使用核心领域主要在数据质量监控
缺点部署依赖非常多ElasticSearch、Hadoop、Livy、Spark等离线处理主要依赖spark、实时处理主要以将流转成微批采用Spark Streaming为主技术栈 java、scala 前端 angular。横向可扩展功能较差、作业容错处理较差。 datavines
优点:核心功能包括数据质量监控、数据探查、数据对比功能明细优于 Griffin部署依赖非常简单只需要依赖 Mysql 就可以完成任务的调度。支持数据源丰富横向扩展能力强、支持作业容错处理。
缺点:开源较迟具有前景
Qualitis
优点:微众开源的数据质量平台(因为调研使用不多所以不展开描述)
缺点:底层执行引擎依赖Linkis
