学校网站定位,国产最好的a级suv88814,wordpress打开越来越慢,网站的网络公司导读 本次分享题目为京东零售数据可视化平台产品实践与思考。
主要包括以下四个部分#xff1a;
1. 平台产品能力介绍
2. 业务赋能案例分享
3. 平台建设挑战与展望
作者#xff1a;梁臣 京东 数据产品架构师 01平台产品能力介绍
1. 产品矩阵 数据可视化产品是一种利用…导读 本次分享题目为京东零售数据可视化平台产品实践与思考。
主要包括以下四个部分
1. 平台产品能力介绍
2. 业务赋能案例分享
3. 平台建设挑战与展望
作者梁臣 京东 数据产品架构师 01平台产品能力介绍
1. 产品矩阵 数据可视化产品是一种利用数据分析和可视化技术帮助企业从大量数据中提取具有价值的信息和洞察的工具主要作用有以下几点 可视化呈现与报告。将数据以图表、仪表盘、报告等形式进行可视化呈现让用户更加直观地理解数据快速识别关键指标。 数据分析与探索。通过对数据进行多维度切片和钻取来进行分析。用户也可以通过交互式界面对数据进行探索发现数据中的模式、趋势和关联性。 实时监控和预警。通过实时监控及时洞悉关键业务指标和数据变化通过报警和通知来提醒用户异常情况的发生。 业务的监测和评估。通过该产品可以监测评估业绩并跟踪关键业务指标的变化趋势。 数据驱动决策。帮助决策层、管理层做出更明智的决策降低决策风险优化业务的运营。
数据可视化产品可以帮助企业更好地利用数据进行决策和业务洞察加强数据驱动的决策文化促进业务的增长和创新。
京东数据可视化的产品矩阵主要有智能BI平台数据大屏平台低代码平台和交互分析平台。
数据可视化平台的产品有多种典型应用场景。比如将来自企业内部的业务数据通过数据抽取、清理加工进行数仓的分层存储通过数据集市提供给用户进行分析处理。或通过消息管道的方式利用 Flink 等引擎进行实时的数据计算再通过 OLAP 数据库进行数据查询和使用等等。根据不同的业务场景有不同的产品使用链路。
下面主要介绍如下三个京东内部的可视化产品平台 EasyBI 定位于拖拽式的可视化报表搭建平台面向京东域内提供报表搭建能力。 低代码平台定位于低代码的可视化编排系统提供多种场景化的数据组件进行代码配置。 JDV 大屏定位于自助式的可视化大屏搭建工具比如 618、双 11 的可视化大屏都是通过 JDV 大屏来搭建和呈现的。
接下来将详细介绍这几款产品的功能。
2. EasyBI EasyBI 是京东推出的一款自助式数据报表与可视化分析工具面对不同的业务场景以数据驱动价值帮助用户快速地分析和洞察数据。
整体架构分为四层
数据连接层支持 MySQL、Presto、ClickHouse、ElasticSearch、API 等数据的接入还支持本地上传以及数据填报等满足不同场景的数据接入与集成。
第二层为数据建模可进行轻量级数据建模包括表与表之间的关联表条件的过滤表权限的配置和设置实现了类似数据视图的功能。
第三层是可视化配置包括大量自研的可视化组件和配置能力目前支持 insight 等不同画布模式通过不同的图层设计、可视化组件编排以及相应的筛选器、组件参数配置等形成整体的可视化看板。
最上面是数据看板应用的发布与管理支持邮件订阅、看板智能预警支持配置不同主题加入第三方组件也可以无缝嵌入其它业务平台支持报表、门户等不同功能。 这款产品目前赋能于京东各个集团及海内外业务在报表开发者数量、日常使用者数量、嵌入式支持系统的数量、已开发报表数量和外嵌报表数量等方面均取得了较为领先的数据规模。
EasyBI 的核心功能包括支持多源数据的接入可以用于搭建企业级数据门户支持智能分析允许用户深度追踪和挖掘数据包含内置算法可提供数据诊断分析、时间序列分析等等帮助用户做智能数据分析和决策。场景模板功能是基于京东零售在数据分析领域内多年的积累和沉淀将方法论模板化形成开箱即用的场景化模板。此外还有丰富的数据可视化组件交互分析能力权限管控能力和数据抽取能力等核心功能。
在数据看板消费者端我们做了很多工作比如性能查询的提升通过数据查询全链路的监控分析、缓存性能的优化提升、SQL 语法的识别分析、SQL 全表扫描的查询优化、性能诊断工具等能力为用户查询体验保驾护航。 EasyBI 产品的核心优势包括支持零代码拖拽可以灵活嵌入到各种不同的业务系统中做到无缝嵌入还有数据找人的智能预警功能、引擎侧的优化以及安全管控体系的优化等等。
3. 低代码平台 低代码平台的产生背景有三个方面首先在业务上京东有一套成熟的数据 BP 陪跑模式会深入到业务一线战场做业务的数据分析从而对场景化分析提出了较高要求第二是在研发资源上希望在有限的人力下通过技术能力提升改变原有定制化的研发模式提升研发效率和质量第三是需要纵观全行业做竞品分析。基于这些需求我们搭建了一站式低代码平台通过深入业务场景抽象数据分析流程打造了全流程分析配置化的能力大幅优化了传统开发模式中的复杂流程通过将前期原型设计、代码编辑、调试、测试与部署上线的流程于一身实现了可视化代码全生命周期管理。在功能上还涵盖移动分析、交叉分析、转化分析、地域分析等多种分析方法。 产品架构
1技术栈基于 react ,webpack ,nodejs 等打造了一套分析可视化的组件也是基于业界先进的图形语法理论通过数据、元素、坐标等的组合深层次反映可视化图形的层次结构并且沉淀了大量可视化场景分析能力。
2编排能力。数据产品页面往往有比较复杂的业务逻辑可能包含很多组件涵盖布局、筛选等配置组件间存在大量的联动逻辑如筛选器和可视化组件联动可视化组件间的联动等。基于上述特性我们设计并实现了一整套编排技术方案。首先自研了基于 MVC 模型的状态管理框架在 Redux 基础上升级了状态更新变化的响应机制可以支持复杂的异步状态管理。其次可以灵活做到布局组件和复杂页面的编排除了常规样式的编排外充分发挥底层数据的可视化能力支持如杜邦分析等指标关系的编排。
3数据编排系统。通过编排维度、指标、过滤构建数据分析模型将可视化组件和数据服务进行充分打通实现数据驱动可视化。
4代码生成和注入系统。使用一套标准的 schema 驱动基于 schema 结合底层的 react 技术栈自动生成代码。
5将基础能力和基础编排服务于京东域内的各种不同的产品线产品平台打造可视化场景看板。 以异动分析为例为了实现对全链路检测的可视化展示平台沉淀了一套网格指标卡组件该组件适用于异常监控分析、全链路转化分析等场景。
在具体的技术实现上针对点、线、卡片位置进行计算和绘制采用类似杜邦分析的技术思路前端动态计算节点连接关系位置使用 SVG 等前端技术渲染。由于图表机构和逻辑的复杂性在图表配置化方案层面进行了大量的技术创新和优化。除异动分析组件外在自动化、智能化的数据分析方面也沉淀了自动化分析组件核心思路是通过贡献度和基尼系数等算法计算出最需要关注的品牌品类等基于增强分析技术如洞察文案生成技术和图表标注技术等自动生成分析报告还可以通过多种因素分析进一步进行数据探查。基于表格组件通过组件的联动能力组合多个表格形成联动下钻分析。
4. JDV 大屏 JDV 是京东内部搭建可视化大屏的数据平台工具内置多种特效模板数十种风格各异的图表组件并与集团其它数据工具打通支持一站式、自动化、拖拽式大屏搭建可以实现非常炫酷的大屏效果包括数据切换、数据刷新等效果可以满足高管、采销、产研等整个集团内部对可视化大屏的诉求。比如双 11 活动、媒体对外宣传的大屏都是基于 JDV 大屏搭建的。
产品步骤包括首先进行数据接入然后使用预置组件与素材模板通过大屏画布的编排系统最终进行大屏的发布。
与 EasyBI、低代码平台不同大屏系统将软硬件管控结合用于媒体发布会、演讲等现场的投放与现场硬件进行联动通过技术集成方案可以集成到其它平台系统中。
02 业务赋能案例分享
数据可视化平台服务的典型业务应用场景如 精细化电商分析管理方面帮助业务实现线上线下的数据打通帮助业务侧及时调整销售和营销策略。
科学门店管理方面可以监控整体货品上下货从门店角度调整运营策略。
物流侧通过接入订单、仓储、配送、售后服务以及财务侧数据打通业务数据孤岛能够从多维度高效灵活交叉分析评估整个物流质量。
对外赋能服务包括城市数字化产能管理平台为城市产业经济提供数据分析研判和智能分析解决方案。在宏观层面让使用方观察整体产业状况微观层面进行多级钻取和影响因子分析。
1. 通过 EasyBI 实现多域多场景打通 此场景下通过 EasyBI 的自定义报表提供了一套统一的数据融入入口通过搭建门店品类、商品销售、进货、库存等不同维度的数据分析报表让业务侧实时查看监控分析数据提升整体数据使用效率和业务价值。从数据角度为用户解决滞销、多售后、供补货、负库存等痛点实现了所有环节数字化流通管理。
2. 通过低代码场景化数据分析 经分疫情看板是在疫情期间打造的一个经营分析类看板。通过 UV、订单量、GMV 等指标去做各类指标转化分析分析疫情的影响。商家服务看板通过预警分析、杜邦分析、联动分析等不断向下拆解定位商家服务的薄弱环节定向帮扶商家升级提升平台整体服务水平。
03 平台建设挑战与展望
接下来介绍一下整个数据可视化平台建设的挑战与展望。 平台建设理念为打造以“数据分析工具分析能力培养数据基础设施”为核心的人人都是分析师的愿景。包括四个方面 首先是大平台理念目标是实现一站式的数据可视化服务以此来提升用户整体使用效率。 第二是小积木将大平台分解为模块化功能或服务从而提高系统灵活性和可维护性。 第三是高复用通过高度抽象和模块化的设计来提升整体平台的开发效率减少代码复杂性。 第四是低耦合通过小积木之间清晰的接口进行交互而不是直接访问其他积木的内部来交互。 平台建设策略从产品、技术、服务三个方面分别展开。 产品层面建立低门槛、高复用的可视化展示和自主分析平台通过统一基础能力建设和一站式数据工具生态整合大模型的语言能力和看板的自动化生成分析能力来整体提升用户使用效率提升数据分析黄金链路的最后一公里价值比例。 技术层面重点提升数据查询的加速引擎能力和前端渲染性能以及在系统稳定和数据安全等方面进行升级。 服务层面建立一整套数据驱动的服务机制借助数据运营、数据培训、数据认证、数据方案的沉淀在整个京东域内推动数据人才的培养营造人人都是数据分析师的企业文化。 可视化平台能力建设可以分为三个层次底层为系统能力的统一中层为产品能力的组合上层是业务场景整合。系统能力通过打造统一的数据源、数据接入、数据录入、大模型、组件集市编排引擎、页面服务化等为底层打造统一系统能力。数据工具层面对于不同的数据工具借助统一的系统底层能力进行产品能力整合。最后为不同业务场景提供不同的解决方案。
04 QA
Q1EasyBI 看板的创建者是业务用户还是数据部门的同事
A1目前业务侧、运营侧、数据侧等部门都在使用平台可通过零代码拖拽的配置方式自助实现海量数据的多维度展示和可视化分析。
Q2目前低代码在推广和应用过程中往后实际的挑战主要在哪块
A2低代码平台在京东域内定位在场景化看板搭建。挑战可能在门槛相对于 EasyBI 来说较高面向有一定前端技术能力的搭建者。后续会通过统一基础能力建设和一站式数据工具生态提升用户数据使用效率。
Q3看板自动生成是如何实现的
A3目前看板的自动生成基于大语言模型用户通过浏览器输入指令结合预置 prompt通过设计完善的 DSL为大模型提供 knowledge大模型生成的结果以可视化的形式呈现给用户。同时通过向量数据库的方式提高匹配精准度。
Q4EasyBI 的数据建模是通过 SQL 还是 EasyBI?
A4支持两种方式。一种是通过写 SQL复杂场景还有一种是直接拖拉拽表格就能形成视图。
Q5报表产品或报表价值的收益怎么评估
A5价值和收益评估可以通过几个方面第一是按照角色划分从开发者和消费者的角度来说评估体现在开发者身上就是搭建报表的效率也就是低门槛上消费者价值体现在看板数据的质量、及时性、准确性。对于 ROI 评估我们有一整套量化的机制和标准。
