用python做电商网站,厦门网站网站建设,百度站长平台账号购买,成都鸿邑网站建设深圳计算科学研究院#xff08;以下简称“深算院”#xff09;是深圳市人民政府2018年11月批准建设的“十大基础研究机构”之一#xff0c;由深圳市科技创新委员会主管、深圳大学举办、深圳市龙华区人民政府共建的二类事业法人单位。 崖山数据库系统YashanDB是深算院完全自主…深圳计算科学研究院以下简称“深算院”是深圳市人民政府2018年11月批准建设的“十大基础研究机构”之一由深圳市科技创新委员会主管、深圳大学举办、深圳市龙华区人民政府共建的二类事业法人单位。 崖山数据库系统YashanDB是深算院完全自主研发设计的新型数据库系统融入原创理论。近日深算院YashanDB首席技术官陈志标接受了我们的采访介绍了深算院在研究、工程等方面的经验以及YashanDB产品的研发和推广。 从“理论”到“工程” 《湾区科技评论》能否介绍一下深算院组织架构理论团队和工程团队是如何配合的相比其他的高校和企业深算院的理论研究和产品研发有哪些不同 陈志标国家级实验室及先进的科研机构始终是发达国家在科技领域的战略支柱如美国贝尔实验室、德国弗劳恩霍夫协会等。借鉴贝尔实验室的成功经验深算院采取了一种独特的“理论工程”双轨科研创新模式以市场需求为导向推动源头创新及关键核心技术的突破并实现大规模的产业应用。 在理论研究方面深算院汇聚了全球顶级青年科学家团队专注大数据领域的原始创新探索我们不追随热点而是发现新挑战或是给出经典问题的新思路引领一个研究方向并持续突破。自2019年揭牌至今深算院围绕大数据的计算和管理发表了近百篇论文其中90余篇发表在CCF 推荐的A类国际学术会议/期刊上樊文飞院士提出的有界计算、多核并行计算及跨模融合计算理论将有望为大数据处理带来革命性的进步具备国际引领创新能力 在工程方面作为一个“具备产品能力的基础研究机构”深算院拥有可与硅谷相媲美的大数据系统工程团队占比超过八成团队中拥有数十位具备二十余年经验的数据库内核专家在行业内首屈一指具备从产品定义、代码实现到质量保障端到端的工程实现能力我们坚持从0到1的系统开发不基于开源系统上进行优化而是真正掌握底层系统的每一个实现细节。 《湾区科技评论》传统关系型数据库的发展情况如何目前面临着哪些问题深算院的YashanDB在此基础上做出了什么样的改进 陈志标数据库的发展始终遵循这样的一条规律由原创理论方法驱动产业技术革新。1970年埃德加·弗兰克·科德Edgar Frank Codd1981年获图灵奖提出数据关系模型为关系数据库提供了理论基础1976年吉姆·格雷Gim Gray1998年获图灵奖提出共享数据库的一致性和锁的粒度保障了数据库系统并发处理正确性。以理论为基石带动产业快速发展催生了如Oracle、IBM DB2等业界领先的关系型数据库随着数据量的增加挑战着传统的系统与软件架构1978年莱斯利·兰波特Leslie Lamport2013年获图灵奖提出Lamport逻辑时钟成为分布式系统及技术的理论基石互联网时代谷歌的“三驾马车”论文发表进一步推动了以离线大数据计算为主的Hadoop体系诞生与应用。 当前信息技术的发展不但没有减速反而因AGI通用人工智能的推动而持续加速发展现有的数据库技术面临新挑战如海量智能数据带来的数据规模不断增加、多模型数据处理需求、数据快速变化等亟需新的计算模式的革新。只有在数据库基础理论研究方面实现创新与突破才能点到面带来产品技术的全面变革从而支撑起未来业务场景的需求。 根据原创理论方法驱动产业技术革新的历史发展规律YashanDB坚持“理论”和“工程”并重在经典数据库理论基础上实现了原创理论突破——有界计算、近似计算、异步并行执行、跨模计算等这样使得我们的系统在面向海量数据处理、大并发事务处理以及不同模态数据的混合查询等不同场景时具备领先优势。以有界计算理论为例现有大数据方法通常基于分布式计算但仍无法摆脱数据规模对算力的依赖YashanDB将海量数据通过访问约束确定精确小数据集实现大数据变小突破了计算资源的限制有界计算理论成果均发表于数据库顶级国际学术会议PODS、VLDB和SIGMOD同时该理论也获得了2018年的Royal Society Wolfson Research Merit Award英国皇家学会沃夫森研究优秀奖。 在人工智能与大数据时代背景下如何提升多模数据查询的优化程度充分挖掘和运用多模数据的价值成为未来发展趋势。我们通过融合机器学习与逻辑推理的方法提出了跨模数据链接、语义级跨模关联等理论途径实现了跨模计算的易用性有效解决了跨模计算实时性低、计算成本高的痛点目前我们已初步实现关系与图的统一计算。 《湾区科技评论》请介绍一下YashanDB的研发经历数据库的理论如何进行工程实现,如何把理论应用在产业需求上其中的挑战是什么 陈志标理论落地是一个业界难题研究和工程之间存在鸿沟当前理论到市场落地率不到10%在这里也分享下我们的一些经验第一研究与开发团队紧密结合、密切讨论深度理解原创理论、并完成原型验证。例如针对有界理论的工程落地基础研究团队和产品研发团队前前后后讨论了将近两个多月不断地发现问题、解决问题经过很多尝试后最终实现了它的验证。第二是系统工程能力这里包含开发标准的制定执行、代码产品质量的全面看护等等。如果说原型验证是一个点那么工程实现就是一个面需要考虑方方面面的事情包括易用性、可维护性等维度更多、更复杂这也是从理论走向市场落地的一大挑战。我们采用系统化、流水线式质量保障方法为版本质量保驾护航具备了从产品定义、代码实现到质量保障端到端的工程实现能力。第三是对客户的全方位的支持。这就需要多从用户角度思考问题我们通过与各行各业客户的深度交流更加了解他们的实际需求和使用习惯在版本迭代中不断加强对主流数据库的兼容能力帮助用户平滑迁移提供从安装部署、一键迁移、智能运维到应用开发的全生命周期配套工具助力用户降本增效。 历经数年的潜心研发YashanDB在2022年正式发布了首个版本正式并确立每年发布两个大版本的节奏。至去年我们已针对不同业务场景构建了基于全自研内核的完善产品体系涵盖1个自主内核、单机/主备数据库、共享集群数据库、分布式实时数仓、空间数据库四大产品以及迁移平台、运维平台、开发平台三大工具。 在实际场景中推广 《湾区科技评论》目前崖山等产品的市场推广状况如何客户有哪些方面的反馈还会有哪些方面的挑战 陈志标目前YashanDB已在多个行业及场景的核心系统中广泛应用如政务、金融、能源、交通和智能制造等关键领域。YashanDB在平滑迁移、性能表现及稳定性方面均展现出了显著优势获得了客户的广泛认可与高度评价助力用户在众多核心业务系统中实现了底层技术的自主可控。 众所周知金融业是数据库的最大客户占据了市场五分之一的市场份额且使用要求最高、应用最深。某金融客户的业务系统已在Oracle上稳定运行多年希望通过一款国产数据库产品进行“改造”但需要做到减少业务重写、系统平稳切换。“改造”工作将面临巨大的挑战难度在于其业务逻辑主要通过Oracle数据库里大量内置的高级特性来实现代码量十分庞大对此我们通过我们的崖山迁移平台YMP自动化地对系统进行兼容性评估、数据迁移、一致性校验等工作最终不到3人周即完成11万行代码的平滑迁移大大缩短了客户原本数月的交付预期创造了数据库国产改造新速度。 迁移能力之外性能表现更是验证数据库产品能力的核心指标。对此客户又提出了在同等硬件配置下做一个“性能PK”。与Oracle对比在单业务流程中崖山数据库响应时间较Oracle快50%大大提升业务处理效率且并发吞吐量也是Oracle的1.3-2.4倍意味着相同时间可以处理数倍业务请求扩展了原有业务的处理上限。 对此YashanDB交出了一份满意的答卷在替换原有的数据库系统后YashanDB不仅保障了迁移过程的平滑安全更在多个关键指标上实现了性能的提升是11平替的绝佳选择。 无疑作为新推出的产品在市场推广过程中我们面临着诸多挑战。尤其是在起步阶段客户往往担心新产品的性能不稳定、安全性不足或未来的支持不够。因此在PoC验证阶段我们向客户提供了高品质的产品和服务在性能、安全性和用户体验等方面都能达到或超越了客户的期望。随着客户信任的逐步建立我们也获得了更多的合作机会和市场认可慢慢打开了市场局面。 《湾区科技评论》国产自研的数据库如何满足用户在数据库迁移时的需求如何建立自己的服务生态 陈志标服务是数据库厂商的核心竞争力之一我们始终以用户为中心首先构建了标准流程与专业工具体系根据用户问题的严重级别对问题进行分级管理和专人响应其次我们与全国各地的服务伙伴建立了深度合作关系共同打造一个全国性的服务网络是YashanDB从1走向100的关键。 与此同时数据库是典型的生态型产业。如何用好数据库、构建数据库生态以及培养人才等成为业界广泛关注的焦点。我们与上下游软硬件厂商“强强联合”兼容适配了超百家芯片、操作系统、中间件等主流软硬件生态与深智城、长亮、金蝶、超图等生态伙伴推出企业级联合解决方案打造互助共赢的生态格局。在人才生态方面我们推出了数据库人才培养和认证体系现已覆盖全国20余个省份、数千名用户持续为行业培养和输送高质量的数据库人才。 《湾区科技评论》如何考虑进一步完善产品的商业模式目前市场和服务团队的搭建情况如何 陈志标随着客户群体从深圳逐步扩展至全国各地包括华东、华北等地区我们的市场和服务团队将立足大湾区积极布局全国网络。一是加强原厂的市场与服务能力为直接客户提高更有市场竞争力的产品与解决方案其次是与全国各地的渠道、服务伙伴建立深度合作关系并建立本地的办事处配备当地销售与服务渠道的骨干人员。 未来我们基于行业应用的实际需求持续提升产品的硬核能力、持续完善配套工具的支撑能力、持续加强数据库运维和服务能力并深耕场景系统打造场景规模化复制能力。 《湾区科技评论》未来YashanDB研发的重点方向是什么是更多的从理论出发还是从目前客户关注的需求出发 陈志标产业持续发展的关键是在核心技术上的持续投入并一定要落到产品里去被市场广泛使用。YashanDB仍需要持续投入核心技术打造做到技术可控、技术领先。面向未来YashanDB在真正实现11平替能力之外也将积极探索新的方向如云原生、多模态和AI使能等以提供更可用、好用、易用的数据库产品。 尤其随着AI的快速发展我们认为智能化机遇将会给数据管理带来重大变革。一方面是DB for AI包括前段时间大火的向量数据库另一方面则是AI for DB例如利用机器学习模型优化查询以及实现SQL语言的自动生成帮助用户减少交互工作。值得关注的是跨模计算已成为AI时代的下一个重要考验针对多模数据间模式转换的实时性难题我们采用机器学习与逻辑推理相结合的方式在理论方面取得了突破目前正在探索落地这一技术这将对传统跨模计算技术产生颠覆性突破。 未来我们将持续探索更多创新技术的可行性和落地方案拓宽数据库应用的广度和深度为更多企业的数字化转型提供有力支撑。 国产数据库突破之路 《湾区科技评论》近几年国内整体数据库的发展情况如何有哪些重要的瓶颈需要突破 陈志标从商业角度来看国内的数据库生态圈是繁荣的据不完全统计国内数据库产品数量有200多款但反而观之繁荣的背后也存在着瓶颈制约首先在高端核心系统场景中目前仍以国外数据库为主流主要原因在于国产数据库的内核性能及高可用保障能力不足无法做到11平替此外核心系统对于业务连续性的要求十分高目前长期依赖于Oracle的共享集群产品国产数据库尚未在高端领域形成成熟且稳定的高可用解决方案。 更为重要的是随着大数据、物联网、AI等技术的飞速发展数据呈现了大规模、多样性、极速增长的态势对数据处理的新鲜度和融合性提出了更高的要求例如中国数据量规模2027年预计达到76.6ZB相当于足以存储约38万亿部2小时的高清电影基于传统计算模式开发的产品难以应对庞大的计算体量。新应用场景是国产数据库需要重点关注和长期投入的领域更是实现国际引领超越的关键。 《湾区科技评论》能否介绍下YashanDB以自主可控的大数据技术破解关键领域“卡脖子”方面的优势是什么 陈志标数据库内核就像汽车发动机承担着“心脏”的作用决定着系统的性能和稳定性。只有从源头解决内核“根技术”打造核心技术和产品驱动型基础软件才能根本解决“卡脖子”问题。 崖山数据库系统的产品优势正是来源于研发团队在内核方面的创新与突破。崖山数据库系统YashanDB的内核代码均为自主编写选择从零构建第一行代码经权威机构测试内核代码自主率100%。得益于自研的技术路线一方面能够不断引入新理论、新算法在技术上开展更多的技术创新以及工程实践实现技术引领例如我们结合多核并行计算原创性地采用细粒度多版本并发管理机制、自适应异步事务调度方法等使得单机内核性能方面实现突破基准测试TPC-C下是国际主流商业数据库的1.3倍另一方面由于对底层机制和核心技术的完全掌控可以快速响应客户不断变化的需求。 在从根本上解决卡脖子这一难题之外针对共享集群——这一长期为国外厂商所垄断的“制高点”技术我们经过原型验证和多次迭代在去年成功推出共享集群产品打破技术垄断在高效处理的数据规模、事务处理吞吐量和高可用能力等关键指标实现与国际标杆Oracle并跑并迈向领跑在高可用方面YashanDB共享集群的RPO数据丢失量为 0能够确保故障切换不丢数据故障恢复时间 RTO 小于 20 秒同时具备透明多写的能力替换过程业务不中断、上层应用无改造完全满足核心系统对高可用的要求。当前产品也已经应用在金融、运营商等国计民生领域中有效降低“断供”风险真正实现高端应用场景11平替。 助力解决国家关键领域“卡脖子”难题需要在数据处理领域提供具备“根技术”能力且真正提供高端应用场景11平替的解决方案。 《湾区科技评论》在发展基础软件方面企业、高校、政府分别扮演着什么样的角色如何共同推动这一领域的发展 陈志标高校之优势集中体现在理论创新及人才培育。相对而言企业端则更侧重于对接并拓展多元化的应用场景从而能够更为迅速地推动理论研究成果向实际应用转化。在此过程中政府扮演着产业布局规划者的角色并提供全面的政策扶持以促进产业的稳健发展。 深算院作为新型科研机构致力于打破一直以来存在的理论研究与工程转化之间的鸿沟。在理论创新及人才培育方面深算院培养了一批高端的数据库理论和工程人才为国产数据库长远发展厚植一方沃土同时与多所高校合作将自身积累多年的理论与工程经验对外输出在场景和应用落地方面秉承“理论和系统并重”的初衷我们打通科研成果“最后一公里”基于原创理论开发实用系统为行业提供领先自主、拥有根技术的原创产品和解决方案。得益于深圳“双区驱动”的重大历史机遇、优质的创新土壤、良好的“产学研用”生态基础优质的营商环境以及一流的企业发展配套服务深算院在发展之初获得了政策、资金和人才等等各方面的扶持才能在短短几年间取得突破性的科研成效以及商业落地。未来深算院将朝着建设世界一流的计算科学基础研究机构的目标继续以新模式和新速度高速稳健发展打造中国原创的基础软件品牌。
