php网站开发架构,网站建设 徐州,电烤箱做蛋糕网站,佛山做网站-准度科技公司本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
本作品 (李兆龙 博文, 由 李兆龙 创作)#xff0c;由 李兆龙 确认#xff0c;转载请注明版权。 文章目录 引言技术决策JVM vs. Native ExecutionInterpreted Vectorization vs Code-GenRow vs…本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
本作品 (李兆龙 博文, 由 李兆龙 创作)由 李兆龙 确认转载请注明版权。 文章目录 引言技术决策JVM vs. Native ExecutionInterpreted Vectorization vs Code-GenRow vs. Column-Oriented ExecutionPartial Rollout 总结 引言
SIGMOD 2022的Industry Best Paper《Photon: A Fast Query Engine for Lakehouse Systems》对于湖仓一体给出了标准的定义 Many organizations are shifting to a data management paradigm called the “Lakehouse,” which implements the functionality of structured data warehouses on top of unstructured data lakes. 并定义了Lakehouse对于执行引擎而言最大的挑战就是CPU The execution engine needs to provide good performance on the raw uncurated datasets that are ubiquitous in data lakes, and excellent performance on structured data stored in popular columnar file formats like Apache Parquet. Lakehouse概念的出现是符合历史发展的DataLakes对于性能要求高的工作负载一般会选择将一部分数据结构化后转移到DataWarehouses中以实现高性能和Governance但是这个过程需要昂贵的ETL而且可能导致两端数据不一致[11]。Lakehouse的数据管理架构在DataLakes之上提供DataWarehouses能力比如Governance, ACID transactions以及丰富的SQL支持且需要管理的ETL步骤也更少。其次通过Data Clustering以及Data Skipping Indices可以大幅增加存储的访问性能接下来就是优化计算。
文中给出了计算部分的三个挑战
Supporting raw, uncurated dataSupporting existing Spark APIsTo be as fast as possible
Photon与Velox的定位类似但是动机完全不同Velox是用单一模块化的执行引擎来减少重新实现计算模块的额外人力开销而Photon是因为java实现的性能不够Databricks作为商业公司增加自己的核心竞争力。这也是为什么Photon是闭源的但是世界始终是向前走的尤其是在这样的一个火热的领域Apache Gluten就可以认为是Photon的开源实现简单浏览了下Gluten的代码结构其支持将Spark Plan和 Substrait 转化为VeloxClickHouse的执行计划。 说个题外话Substrait的流行度越来越高了除了Apache Gluten外Velox原生支持Substrait转化为Velox Execution PlanArrow-cpp原生支持Substrait转化为Arrow Acero Execution Plan基本业界顶级执行引擎都支持了Substrait可以认为其已经成为Serialization for Relational Algebra的事实标准了[13]。
文章本身并没有新东西但是从工程的角度非常具有借鉴价值因为其详细的讨论了项目设计的基本技术决策接下来的文章重点放在这里。
技术决策
JVM vs. Native Execution
这也是文章的核心所在即Lakehouse的瓶颈在计算引擎[8]。技术背景为
local NVMe SSD caching和autooptimized shuffle等底层优化大大减少了 IO 延迟Delta Lake启用的data clustering 等技术允许查询通过file pruning更积极地跳过不需要的数据进一步减少了 IO 等待时间Lakehouse 引入了新的工作负载需要对未规范化数据、大型字符串和非结构化嵌套数据类型进行繁重的数据处理
瓶颈永远不会消失它只会从一个指标转移到另一个指标放弃现有JVM引擎的核心观点是目前的瓶颈集中在CPU提高现有引擎的性能越来越困难
提升性能需要大量的 JVM 内部知识以确保 JIT 编译器生成最佳代码比如使用 SIMD 指令的循环堆的大小超过 64GB时GC的性能就会受到严重影响此时需要手动管理堆外内存增加代码复杂性执行引擎中的Java code generation[5][14]受到方法大小或代码缓存大小的限制可能退化到火山模型造成性能极具下降
Interpreted Vectorization vs Code-Gen
Vectorization和Code-Gen的区别可以学习[16]论文中给出了详细的实验对比以及两种方法的优劣。
文章提到Databricks尝试了两种方法最终选择矢量化执行引擎的原因如下
Easier to develop and scale矢量化执行引擎更容易开发调试器堆栈跟踪工具等都是现成的相比之下Code-Gen的开发难度就大很多Observability is easier Code-Gen 通常会将操作符折叠内联到少量流水线函数中从而消除解释和函数调用开销但丧失了可观察性Easier to adapt to changing data可以轻松的通过多分支运行时选择代码路径来适应各种情况Code-Gen引擎要做到相同的效果需要在运行时编译过多的分支或者动态地重新编译查询的部分内容Specialization is still possible虽然Code-Gen在某些情况下具有明显的性能优势但可以通过特殊的工程优化来消除差异文中给了一个例子 col left and col right如果被解释为conjunction的话会有很高的解释开销所以Photon为这样的表达式创建了一个特殊的fused operator
Velox和Photon一样使用矢量化执行引擎没有混合使用Code-Gen。
这两种方法其实是可以结合的框架采用vectorization具体到表达式计算可以采用Code-Gen达到最高的性能Clickhouse就是这样做的具体可以参考[17][18]
Row vs. Column-Oriented Execution
核心观点如下
Column-Oriented 更适合SIMD通过将操作符作为循环来实现可以更高效地进行数据流水线处理和预取并能让exchanges 和 spilling 的数据序列化更高效执行引擎主要与 Parquet 等列式文件格式对接列表示可以在扫描数据时跳过昂贵的列到行的转换可以维护字典以减少内存使用
之前我们组自己实现了一个执行引擎就是存在使用row做Operator之间的数据转换导致无法解决的性能问题。
Partial Rollout
这其实不能算是技术取舍而是工程实践中必须要做的因为不但开源社区会定期积极提供改进、功能和错误修复其次等功能全做完再上线黄花菜都凉了这种级别的人力投入是希望尽快看到成果的。
总结
技术细节中有几点比较有意思但不是文章的重点
将Photon融入Databricks Runtime因为部分算子Photon是不支持的还需要使用原生的运算符这里就涉及到行列转换的问题Vectorized Execution 的具体方法包括 Batched Columnar Data LayoutFilters and ConditionalsVectorized Hash TableVector Memory ManagementAdaptive Execution
文章的重点是笔者深深的感受到了这个领域的卷Databricks PhotonApache Arrow DatafusionApache Arrow AceroMeta VeloxApache CalciteClickHouseDuckDB等都已经做的非常非常好。SubstraitApache Gluten这样的项目也是大大降低了使用门槛技术发展的未来想在性能成本上超越友商变的越来越困难。
换句话说顶级开源产品的技术能力一般大公司的绝大多数部门不是全部国内互联网公司也拥有一众顶级项目没有人力做出来技术规划上如果业界有现成的且开源许可证允许对接业界先进开源产品是绝对强于从零到一投入更多精力在运维可观测性增值服务上收益更高当然有能力一定要回馈社区。
其次业务真的很重要在做一件事情之前务必知道盘子大小技术型还是关系型不重要不然风险极高在此向行业内垂直领域公司致敬真的很不容易。
参考
Photon A Fast Query Engine for Lakehouse SystemsCMU 15-721Photon 基本论文总结Photon论文解读 : A Fast Query Engine for Lakehouse Systems深度解读Spark 中 CodeGen 与向量化技术的研究【Gluten】Spark 的向量化执行引擎框架 Gluten向量化执行引擎框架 Gluten 宣布正式开源并亮相 Spark 技术峰会Spark Commiter 深度解读Apache Spark Native EngineGluten Celeborn: 让 Native Spark 拥抱 Cloud NativeGluten 首次开源技术沙龙成功举办更多新能力值得期待Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics.从一到无穷大 #26 VeloxMeta用cpp实现的大一统模块化执行引擎https://substrait.io/community/powered_by/Project Tungsten: Bringing Apache Spark Closer to Bare Metal列存数据库 Code Generation Vectorized ModeEverything You Always Wanted to Know About Compiled and Vectorized Queries But Were Afraid to Ask vldb2018Overview of ClickHouse ArchitectureVectorization vs. Compilation in Query Execution
