自己做网站难不难,广告创意设计与制作,上海高端网站搭建,中山市seo推广点击软件我们很高兴地宣布WhaleStudio 2.6版本的正式发布#xff01;新版本中包含了数据调度模块WhaleScheduler和数据集成模块WhaleTunnel的百余项核心功能更新#xff0c;本文摘选了WhaleScheduler常用功能更新的概况#xff0c;关于WhaleTunnel的更新详情将于近期发布#xff0c…
我们很高兴地宣布WhaleStudio 2.6版本的正式发布新版本中包含了数据调度模块WhaleScheduler和数据集成模块WhaleTunnel的百余项核心功能更新本文摘选了WhaleScheduler常用功能更新的概况关于WhaleTunnel的更新详情将于近期发布欢迎关注
WhaleStudio中的调度模块WhaleScheduler作为一款全球领先的数据工作流调度系统一直致力于为用户提供更加高效、便捷的功能。本次版本更新我们特别优化和增强了多个功能模块解决了许多用户在日常工作中遇到的实际问题详情欢迎查看文末联系方式咨询。 WhaleScheduler是白鲸开源Apache DolphinScheduler核心研发团队打造的新一代调度工具继承了开源使用简单、分布式、易扩展的优点同时加入大量商业版本功能支持多云、信创环境的数据源与环境部署。 实时任务管理支持
现在越来越多的用户开始使用实时数据仓库从数据CDC抽取到数据实时加工及展示从而支持风控、经济业务、银行在线分析等实时场景。在2.6版本中我们还新增了对多种实时任务的全面支持 用户可以更便捷地进行编辑、管理、控制和删除操作全面升级用户实时数据仓库开发能力。这些实时任务包括
Spark StreamingFlink StreamingWhaleTunnel StreamingCDCJava Jar 此外我们为上述任务提供了高级配置与编辑功能
Jar任务托管可以在资源中心/Git中进行托管并进行部署运维。Flink实时组件配置支持Flink实时组件的原生参数配置。WhaleTunnel CDC任务可以进行参数传递包括循环调用。 工作流复制功能增强
另一方面随着用户的产品越来越多帮助用户提高工作流使用的便捷性是2.6版本中的重要目标。
在日常工作中您是否经常遇到这样的场景不同项目使用的表和处理过程非常相似然而在使用工作流复制功能时却发现其中的逻辑节点和子节点无法被复制。这给很多用户带来了不便和额外的工作量。为了解决这个问题WhaleStudio 2.6版本新增复制逻辑任务节点、支持级联复制子工作流、跨项目复制子工作流功能
01 支持复制逻辑任务节点
在2.6版本中工作流复制功能得到了显著增强。现在您可以轻松地复制包含逻辑任务节点的工作流。这意味着即使工作流中包含复杂的逻辑判断和处理节点也可以在不同项目中快速复用极大地提高了工作效率。
02 级联复制子工作流
另一个令人激动的改进是当工作流中包含子工作流时复制操作将支持级联复制子工作流。这意味着整个工作流结构包括所有嵌套的子工作流都可以一并复制不再需要手动一个一个节点进行复制。这项功能不仅简化了操作流程还确保了工作流的一致性和完整性。 03 支持跨项目复制子工作流
在2.6版本中工作流复制功能进一步增强新增支持跨项目复制工作流。现在您可以轻松地将工作流从一个项目复制到另一个项目中实现资源和配置的跨项目共享进一步提升了工作效率和项目协同能力。
依赖任务功能增强
为了提升依赖任务(DEPENDENT)的灵活性和易用性我们在2.6版本中进行了多项改进
弱依赖模式为了提高任务调度的灵活性我们新增了任务组件的运行标志“失败继续”的弱依赖模式。在这种模式下当前任务节点执行失败例如等待1小时还为满足要求而失败不会阻断当前流程后续任务将正常提交执行。 业务日期修改为牌日期明确表示当选择牌日期时将会根据依赖规则在当前工作流的牌所使用的日历上进行查找对应业务日期。新增月维度的时间依赖选项牌日期依赖新增了月纬度的时间选项增加了时间依赖的灵活性。 依赖所有任务ALL不再单独检查任务状态而是检查整个工作流的执行状态。被依赖的工作流中的任务可以修改和删除了。依赖检查优化依赖检查时不再取“最后结束时间”而是取“最后开始时间”作为判断最新实例的条件避免后启动的实例先完成而导致依赖判断出错的问题。自然日时间依赖不使用日历自然日的时间依赖现在无需使用日历简化了依赖设置。
多种任务功能增强
为了进一步提升任务功能的多样性和灵活性我们在2.6版本中进行了多项增强
01 SQL任务
优化了SQL任务的参数传递。在SQL任务中设置传出参数时现在能够获取并向后传递多行的返回结果。这一改进大大增强了SQL任务的灵活性和实用性使得处理复杂查询和数据传递更加方便。
02 DATA QUALITY任务
在2.6版本中DATA QUALITY任务得到了显著增强。现在您可以使用参数变量替换表名和过滤条件中的部分字符从而可以使用循环节点或者前面的SQL节点的内容来批量控制数据质量。这使得数据质量管理更加动态和灵活。
03 BREAK任务
新增了BREAK逻辑任务节点。该节点允许在执行到此节点时自动暂停流程并发送告警通知从而让用户可以手工参与到工作流的安排中。这一功能使得工作流调度更加灵活并能够及时响应和处理异常情况。 04 资源池任务优先/工作流优先任选
在 2.6版本中我们对资源池配置进行了优化增加了优先策略设置。用户现在可以选择任务优先或工作流优先这将影响任务在资源池队列中的排序规则。特别是当选择工作流优先时系统将保证先提交的工作流优先完成。这一功能优化了资源分配和任务调度策略使调度过程更加高效和合理。
影响分析与展示性能优化
为了提升用户体验和系统性能2.6版本在整体展示性能上进行了显著优化现在画布可支持同时展示数千个节点。
此外我们对展示范围和逻辑进行了重构
展示范围更新仅展示处于依赖链条上的节点减少不必要的节点显示提高画面清晰度和操作性能。展示逻辑重构以起点被搜索节点为中心按依赖关系的层数由近到远进行展示。具体如下 x轴节点与起点的相隔层数关系同一层数的节点在同一列。y轴以工作流为纬度展示节点与起点的相隔关系。画布布局左侧展示节点的父关系链路右下侧展示节点的子关系链路。 同时我们对页面的搜索逻辑进行了优化改进了搜索返回结果的方式。当搜索工作流或节点时结果将分批返回提升了搜索效率和页面响应速度。
工作流导入导出及管理优化
我们还改进了工作流的导入导出功能以及管理体验确保用户在操作时更加便捷和安全
01 工作流导入新增权限校验
在导入工作流时新增了权限校验功能。如果您没有文件内工作流配置中引用资源或配置的使用权限将无法成功导入到目标项目中。这一改进提高了系统的安全性和数据完整性也避免导入数据后因为权限原因无法执行。
02 工作流Excel导入导出模版更新
我们更新了工作流的Excel导入导出模版使操作更加直观和易用进一步提升了用户体验。这样在维护上万个工作流的时候维护好Excel模板就可以快速导入导出。
03 工作流上下线
现在工作流上线后允许用户打开查看工作流内的配置信息。这样您可以在工作流上线后依然检查和查看其详细配置确保一切运行如预期而不用先下线才能看工作流内部信息。
04 工作流列表优化
我们调整了工作流定义名称列的宽度比例并增加了列表中每列的宽度上限。这样即使某些列内容较少也不会导致某些列特别宽整体界面更加美观和协调。
小结
WhaleScheduler 2.6版本中我们发布了多达78项核心功能的更新旨在全面提升用户体验和系统性能。本次升级涵盖了工作流复制、实时任务管理、导入导出管理、多种任务功能、DEPENDENT任务增强、资源池配置优化以及影响分析与展示性能优化等多个方面本文仅摘选了2.6版本当中的一些常用功能更新如果您对WhaleScheduler或者WhaleStudio感兴趣欢迎垂询。
邮箱: xiyanwhaleops.com加V:17743592110公司网站: www.whaleops.com
白鲸开源
白鲸开源是一家开源原生的DataOps商业公司是国家高新技术企业由多个Apache Foundation Member成立80%员工都是 Apache Committer运营2个全球Apache开源项目(DolphinScheduler, SeaTunnel。白鲸开源已根据全球最佳实践发布商业版产品WhaleStudio(含白鲸数据调度平台WhaleScheduler和白鲸数据集成平台WhaleTunnel。我们致力于打造下一代开源原生的DataOps 平台助力企业在大数据和云时代智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理以提高企业解决数据问题的效率提升企业分析洞察能力和决策能力。 本文由 白鲸开源科技 提供发布支持
