山东鸿泰建设集团有限公司网站,wordpress 开放注册,公共资源交易中心属于哪个部门,惠阳住房和建设局网站更多技术交流、求职机会#xff0c;欢迎关注字节跳动数据平台微信公众号#xff0c;回复【1】进入官方交流群 本文讲述字节跳动一款 App 产品的数据治理故事。该产品随着用户体量和数据体量不断增长#xff0c;数仓的任务量、数据量也不断攀升#xff0c;运维难、成本贵、稳… 更多技术交流、求职机会欢迎关注字节跳动数据平台微信公众号回复【1】进入官方交流群 本文讲述字节跳动一款 App 产品的数据治理故事。该产品随着用户体量和数据体量不断增长数仓的任务量、数据量也不断攀升运维难、成本贵、稳定性等问题在不断凸显。通过使用火山引擎 DataLeap 的数据治理能力3 个月时间将计算成本大幅缩减 20%。
该产品是一款近千万级 DAU 的产品疫情 3 年催生了大量的线下需求转型至线上海量的数据虽然为产品创造了巨大的价值但是也增高了计算成本和存储成本。“成本治理专项”成为了这个产品的重要工作之一为了解决数据治理的问题产品接入了火山引擎自研的大数据开发套件——DataLeap主要围绕下述两个场景进行成本治理 快速启动并获得收益
大数据场景下计算资源的重要价值和昂贵成本需要每个任务都按需使用。而在实际的业务开发过程中存在大量的异常计算任务浪费了大量的计算资源。计算场景也因此成为该产品数仓团队成本治理的关键切入点。
通过 DataLeap数仓团队可以设置明确治理目标并配置治理域通过选定各种规则的任务治理比如关闭/下线无效任务、优化高耗时并且占用资源 TopN 任务、优化资源申请不合理 TopN 任务、优化表产出小文件 TopN 任务等由此对队列阻塞情况进行改善完成阶段性进行缩容。
DataLeap 还支持对任务执行进行全链路监控自动发现这些异常的计算任务并在工作台进行展示让数据研发人员可以查看相应任务并采取治理措施。 2. 按季度持续治理
数据治理是一项长期性、系统性的工作通过 DataLeap 平台该产品优先实现了数据按季度持续治理。
DataLeap 平台提供一系列任务圈选规则可以圈选出无效、高耗时、资源申请不合理、小文件异常、近 7 天内无更新、写入数据、近 90 天无访问表等规则进行定期扫描由此实现周期性成本治理。除此之外DataLeap 还提供通知、一键拉群等治理运营操作支持查看治理效果沉淀治理经验有效推动数仓团队成本推动进展。
其次为了能更直观监测到数仓健康度、量化治理效果产品团队还引入了 DataLeap「健康分」体系。一旦出现健康分不达标情况会及时限制产品使用资源比例、资源申请等。DataLeap 还支持繁忙和闲置时段队列资源利用率的监测可以帮助飞书数仓团队优化任务调度措施。
最终该产品的数仓团队主要从 YARN 和 HDFS 切入在引入 DataLeap 的三个月内快速落地成本治理项目。在计算治理场景实现 YARN 队列成本降低 20%在存储治理场景已释放 7PB 存储空间。 计算治理 达成目标缩容 20% 的 CPU coreYARN 队列成本降低 20% 治理场景 回收低使用率/老旧队列 无效任务下线 高耗时任务 占用资源 TOP N 优化 存储治理场景 达成目标释放 7PB 存储空间
随着数据的不断累积和业务的不断发展大数据的体量将会变得越来越大而随之而来的庞大成本也成为了大数据建设中越来越无法忽视的问题。
火山引擎 DataLeap 基于字节跳动业务场景和实践经验沉淀有一套完整的数据质量、SLA 治理、资源优化、告警优化的能力可以为业务提供流畅顺滑的数据治理体验在流程上覆盖规划式、响应式的用户数据治理双路同时与各业务密切配合落地和沉淀多项治理规则。
