wordpress网站无法登陆,软件工程属于哪个大类,汕头网站上排名,做现货IC电子网站的什么是Paimon#xff1f;
2021年末#xff0c;Flink官方提出打造一个全新的存储 Flink Table Store#xff0c;一个 Flink 完全内置的存储。 为了让 Flink Table Store 能够有更大的发展#xff0c;Flink PMC经过讨论决定将其捐赠Apache进行独立孵化。 2023 年 3 月 12 日…什么是Paimon
2021年末Flink官方提出打造一个全新的存储 Flink Table Store一个 Flink 完全内置的存储。 为了让 Flink Table Store 能够有更大的发展Flink PMC经过讨论决定将其捐赠Apache进行独立孵化。 2023 年 3 月 12 日Flink Table Store 项目顺利通过投票正式进入 Apache 软件基金会的孵化器改名为 Apache Paimon。 Paimon 基于数据湖 LSM有很强的 Upsert 更新能力。
能力简介
Apache Paimon 是一种数据湖的格式支持使用 Flink 和 Spark 构建实时湖仓架构用于流式和批处理操作。Paimon 创新性地结合了数据湖格式和LSM结构将实时流式更新引入数据湖架构。 Paimon 提供以下核心功能 ● 实时更新 ○ 主键表支持大规模更新的写入具有非常高的实时性通常通过Flink Streaming进行。 ○ 支持合并引擎支持按规则更新记录。规则删除重复项以保留最后一行、部分更新、聚合记录或保留第一行等 ○ 支持定义changelog-producer为合并引擎的更新生成正确、完整的changelog。 ● 大量附加数据处理 ○ 附加表无主键提供大规模批处理和流处理能力自动小文件合并。 ○ 支持通过 z-order 排序进行数据压缩以优化文件布局并使用 minmax 等索引提供基于数据跳过的快速查询。 ● 数据湖功能 ○ 可扩展的元数据支持存储Petabyte大规模数据集支持存储大量分区。 ○ 支持 ACID 事务、时间旅行和模式演变。
Apache Paimon 的架构 如上架构图所示 读/写 Paimon 支持多种方式来读取/写入数据和执行 OLAP 查询。 ● 对于读取它支持消费数据 ○ 从历史快照批处理模式 ○ 从最新偏移量在流模式下 ○ 以混合方式读取增量快照。 ● 对于写入它支持 ○ 来自数据库变更日志的流式同步CDC ○ 从离线数据批量插入/覆盖。 生态系统除了 Apache FlinkPaimon 还支持其他计算引擎的读取例如 Apache Hive、Apache Spark 和 Trino。 内部的 ● 在底层Paimon 将列式文件存储在文件系统/对象存储中 ● 文件的元数据保存在manifest文件中提供大规模存储和数据跳过。 ● 对于主键表采用LSM树结构支持大量数据更新和高性能查询。
