围场网站建设,怎么破解网站后台,源码网,wordpress ueditor插件从1948年的香农定律#xff0c;到音视频的今天。IMMENSE、36氪#xff5c;作者
北京时间2月28日凌晨#xff0c;FIFA年度颁奖典礼在巴黎举行。梅西荣膺年度最佳球员#xff0c;斯卡洛尼当选年度最佳男足主帅#xff0c;马丁内斯荣获年度最佳男足门将#xff01;阿根廷因…
从1948年的香农定律到音视频的今天。IMMENSE、36氪作者
北京时间2月28日凌晨FIFA年度颁奖典礼在巴黎举行。梅西荣膺年度最佳球员斯卡洛尼当选年度最佳男足主帅马丁内斯荣获年度最佳男足门将阿根廷因此成为FIFA史上首个在同一届颁奖礼上赢得三个最佳评选的国家。毫无疑问2022卡塔尔世界杯的冠军奖杯为此次评选增添了不少份量。
回望卡塔尔世界杯赛场观众印象最深的不仅是“诸神黄昏”的老将谢幕、球王梅西的终极加冕还有无数次比赛结果的逆转而这些惊天大冷门的“参与者”——VAR视频助理裁判Video Assistant Referee吸引了无数人的目光。
在小组赛第一轮中VAR将阿根廷的3个进球全部判为无效致使阿根廷1:2败于沙特阿拉伯爆出本次世界杯最大冷门差点在小组赛中淘汰了本届冠军阿根廷。VAR的背后是12台鹰眼摄像机捕捉球员身体29个关键点每秒50次严密追踪并将这些音视频数据实时发送至云端进行处理。
在云计算时代随着音视频技术的飞速发展还有更多像VAR这样的新兴应用既改写着绿茵场上的比赛结果也改变了我们生活的方方面面。
01 从黑白小电视到超清4K直播
在世界杯举办的近百年历史上大多数人可以坐在家中实时观看赛事直播的历史只是近几十年的事情。
由于摄影摄像、音视频编解码、信号传输等种种技术限制一直到1954年的瑞士世界杯人类才在历史上第一次通过电视观看世界杯比赛。在此之前观众只能通过报纸、广播、甚至口口相传才能得知赛事结果。
央视第一次转播世界杯则是1978年的阿根廷世界杯。然而很少有人知道彼时还叫做“北京电视台”的央视是由足球评论员宋世雄在香港的一间小酒店房间里完成了78年阿根廷世界杯的半决赛和总决赛赛事转播。
几十个球迷围着一台9寸黑白电视如饥似渴地期待着进球结果成了那个时代最具特色的一道风景。
那个时候电视还是个稀缺物件球迷们被迫盯着屏幕上模糊得连球员五官都看不清楚的超低分辨率画面忍受着断断续续、时常“雪花”的信号传输。 几十年的人们大概很难想象2023年的今天通过云技术处理的比赛转播已经高达8K、60帧延时缩短至1秒运动员们纤毫毕现的赛事画面成为了日常网络传输与边缘云技术的发展更是让全球亿万观众能够轻松地通过电脑、手机、平板等多种设备流畅无阻地观看赛事。
也许更难想象的是今天云端处理的AI语音成为了赛事的播报员、视频技术让VAR成为了赛事结果的改判者曾经只存在于科幻小说里的“VR看球”更是走进了现实。
正是云计算技术的持续进步让人类能够不断突破音视频技术的边界创造出更多超越想象力的全新体验。
02 「4.56亿」背后的技术奇迹
除了世界杯赛场上的种种应用外各类音视频技术的创新应用也正改变着我们生活的方方面面。
首先直播、短视频毫无疑问已经成为了当代生活的重要组成部分。
根据中国互联网络信息中心数据截至2022年6月我国网民规模为10.51亿其中短视频用户规模已经达到了9.62亿占网民整体的91.5。
而根据《中国网络表演直播行业发展报告2021-2022》数据截至2021年12月我国网络表演直播行业主播账号累计达到近1.4亿个行业市场规模达1844.42亿元。
十年之前仅用一台手机就能面向成百上千、甚至上亿人次的流畅无卡顿直播简直是天方夜谭。当时视频压缩、编解码、网络传输等诸多技术都严重限制了网络直播的发展人们大多数还是从电视频道上观看各种大型直播拥有昂贵设备与卫星转播系统的电视台成为了唯一能够驾驭“亿”这种量级的平台机构。
然而十年之后的今天在云、网、边、端技术的共同发展之下直播从大屏走向小屏2022年天猫双11预售首日李佳琦一场直播的观看量就达到了惊人的4.56亿人次同时接入观看的节点数高达千万级以上。
一方面如此惊人的高并发流量对网络造成了巨大的压力。如何保证画面清晰、流畅、不卡顿成为了工程师们的最大挑战之一。在直播兴起初期“卡的宝子退出来重进一下”几乎成了各大平台主播的日常用语。
另一方面跟传统直播技术的单向传播不同直播电商对实时互动更高几秒钟的延时损害的不仅仅是用户体验还会直接影响交易达成——这可是商家的命脉。
为了降低电商直播端到端的延时并在超高并发情况下依旧可靠阿里云与淘宝技术共同攻坚将传统的CDN内容分发网络进行改造打造了一张全球实时传输网GRTNGlobal Real-Time Transport Network。而基于这张网的超低延时直播技术RTSReal-Time Streaming更是让淘宝直播能够做到千万级大规模并发下将延时控制在1s以内做到真正意义上的低延时和沉浸式互动。
淘宝直播的技术升级既是一个新时代的典型应用又是音视频行业技术发展的一个缩影。
回望过去十年间我们可以看到音视频行业发展的三大趋势
1超感体验
毫无疑问人类对感受与体验的不断追求正是驱动音视频行业迅猛发展的最大动力。
视觉方面更快、更清晰、更细腻、更多彩、更流畅的观影体验始终是音视频大厦的根基。产业历经十年从1080P、走到4K、再走到了8K画质传输数据量越来越大每一代编码的升级复杂度以百倍计算视频延时却由30秒急剧下降到10秒、1秒、甚至目前达到的百毫秒以内。
听觉方面21世纪以来音频编码技术突飞猛进英国之宝的联合创始人Bob Stuart所开发出的MQA高格式PCM无损处理和压缩技术让网络流媒体高音频传输成为现实。杜比全景声等技术所覆盖的终端产品越来越广手机、电脑、平板、电视、音箱、游戏主机……足以以假乱真的超感音频体验让每一个人身临其境。与此同时DTS也推出下一代音效技术DTSX试图凭借这个新一代开放的沉浸式音编解码标准与基于声音对象的多维空间音频技术与老对手杜比平分秋色。
“2009年你拿着最潮流的诺基亚手机使用着刚刚普及的3G网络打开DVD与家人看一场1080P分辨率的经典大片这就是幸福。”今天你在地铁上打开5G手机一场杜比全景声4K超清音视频盛宴就在眼前。
以体育赛事为例曾几何时观众梦想着像“上帝视角”一样对运动员多方位、多角度、自由观看。
北京冬奥期间阿里云与优酷联合通过在体育场馆内环绕部署多台摄像机将现场采集的多路视频内容编排整合后回传至中心云或边缘节点通过中心云或边缘节点部署的算力将视频流做3D渲染重建再将渲染后的视频流实时传送给观众。此时观众就可以像操控游戏角色一样立体、自由、360度地观看运动员赛事的精彩瞬间将直播体验发挥到极致赋能视频行业突破原有业务边界。
2极致成本
技术的普及从来都离不开成本的降低。许多前沿音视频技术之所以鲜为人知不是因为没有发明出来而是因为它真的——太贵了。
举个例子2018年央视宣布开始投建三阶段4K推进计划其项目总投资85.5亿元建成后每年运行维护及节目传输投入10.94亿元每年4K节目制作投入约150亿元不含人员等经费。商业需求驱动视频技术极致化发展也燃动着对成本的极致化追求而边缘云技术的发展则为这一难题提供了解法。
当前90%的直播业务已下沉至边缘云基于广泛覆盖的节点就近分布边缘云将能力拓延至“最后一公里”在降低传输与算力延时基础上以更低的综合成本推动着用户的体验不断升级。
想要在保证观看体验的前提下降低成本一种从人眼视觉模型出发以“主观体验最好”为目标的编码和传输方式——窄带高清可以实现两者的平衡。
原始视频的数据非常巨大需要进行编码与压缩才能进行存储与传输。从某种程度来说编解码技术的发展正是音视频技术的发展。传统云端转码是在用户端形成一个原始视频经过编码之后以视频流的形式传到服务端在服务端解码之后做转码然后再编码通过CDN分发出去。
而窄带高清技术的“窄带”是指让视频经过窄带高清转码之后对带宽的需求变得更小。同时“高清”是指经过转码后的画质仍然能够保持高清、丰富的视觉体验。
此外在算力方面视频编码与视频处理均为计算密集型场景如何解决视频云赛道的算力困局让高压缩率的视频编码算法更加普惠
更强大、更高效、更多样的云端音视频处理能力离不开底层算力的支持近年来云计算厂商纷纷开启了多样的技术架构升级。首先是依托老牌厂商不断进行硬件升级。
例如英特尔Data Center GPU Flex解决方案内置了开源 AV1 编解码器 显著提高了压缩效率与AVC 和HEVC相比使带宽增加30%以上有助于大幅降低总拥有成本 在不影响视频质量的情况下增加了云服务器支持的视频流密度。
另外一条即是自研。作为国内云计算产业的领头玩家阿里云也在2021年的云栖大会上推出了首款自研云原生处理器CPU——倚天710该芯片针对云场景研发同时兼顾了性能与易用性。 经过一年的业务验证后基于倚天710的云计算实例在数据库、大数据、视频编解码、AI推理等核心场景中的性价比提升30%以上单位算力功耗耗电量降低了60%以上。
3虚实融合
如果说更清晰、流畅、低成本是音视频行业在过去半个世纪以来永不停歇的不懈追求那么在最近十年间一项最具时代特色的音视频体验则非虚实融合莫属。
无论是《雪崩》中的元宇宙社区还是《头号玩家》中的“绿洲”人类对于打破虚拟与现实界限的超次元体验始终怀有梦一般的向往。
过去这种向往只能在科幻作品中实现然而这十年间SLAM技术的高速发展让机器能够迅速定位人体位置光学与现实技术的突飞猛进让更轻、更薄、更逼真的VR/AR头显成为现实Pancake光学方案、双眼4K屏、90Hz超高刷新率等曾经难以企及的技术更是成为了虚拟现实的标配。 在音视频超感体验的不断发展与边缘云、视频云技术的不断降本增效之下3D网络购物成为了现实《黑客帝国》中惊心动魄的“子弹时间”如今可以在云端实时合成《钢铁侠》中的万能AI管家贾维斯有了自然语言处理能力我们甚至能够为他配上一张有着细腻喜怒哀乐表情的逼真面庞。
冬奥期间在演播室里当谷爱凌在自由式滑雪女子大跳台的决赛中一举夺冠时AI剪辑系统实时提供谷爱凌精彩动作视频集锦并第一时间成片后这一视频迅速登上央视频首页推荐焦点位两小时内播放量超过500万。
除了冬奥赛场上音视频技术的发展也正不断突破我们日常生活中的体验。VR看球、工业孪生建模、3D全息购物……更多交互维度的虚实融合拓宽着人类感知的边界引领着一个更有想象力的未来。
而音视频行业之所以能够不断向前发展衍生出360度自由视角观看、AI剪辑、VR看球等诸多超越想象力的精彩应用正是由于技术与产业的共同进步。
03 从克劳德·香农到Imagine Computing大赛
1948年近代最伟大的数学家之一、信息论的创始人、美国天才电子工程师克劳德·香农以一篇震惊世界的《A Mathematical Theory of Communication》论文正式拉开了当代信息论的大幕。
此后的几十年间由信息论衍生出的信道编码、图像/视频压缩、甚至人工智能技术成为了推动音视频产业进步、甚至大量计算机科学产业突破的底层动力。
是的任何产业技术领域的突破进展都离不开产、学、研多方面的共同努力。近年间人工智能领域最有名的学术大赛当属ImageNet计算机识别挑战赛。在2012年的ImageNet大赛上日后的“深度学习三巨头”之一、多伦多大学的Geoffrey Hinton教授带领团队首次使用深度学习技术训练人工智能进行图像识别错误率骤降至15.3%。
而在2015年的ImageNet大赛上来自微软亚洲研究院的团队更是第一次将错误率压到了3.57%——这意味着人工智能第一次在图像识别上超越了人类。这一成果成为了音视频学科历史上的又一个里程碑式事件。
前沿技术的探索需要学界和产业的共同探索音视频技术涵盖了编解码、网络调度、人工智能、云端协同等多个技术领域覆盖面广、技术体系复杂面对飞速发展的业务需求往往技术人才的储备和创新实践却显得不足。
去年阿里云与英特尔联合主办的Imagine Computing创新技术天池大赛以“新算力·新体验”为主题聚焦音视频与云技术结合的关键领域技术创新。 “新算力”与“新体验”分别指代的是音视频行业发展的两大重要技术基础也是本次大赛两大赛道的比拼主线。
首先是“新体验”。
体验始终是驱动音视频技术发展的根基。无论是更先进的音视频编码技术让画面更清晰流畅还是更强大的网络分发技术让用户观看得更低延时、更实时互动其本质上都是工程师们对于更好、更快的音视频体验的不懈追求。
随着企业数字进程的加速云上视频算力也从中心逐步延展到网络边缘从而形成新型的边缘基础设施。算力和网络在边缘侧加速融合而视频应用是否流畅、高清、低延时等这些直观感受已成为用户最为关心的如何基于边缘云构建实时音视频处理的应用有效降低计算时延和成本提升最终用户体验成为了本次比赛关注的赛道之一。
其次是“新算力”。
众所周知近半个世纪以来电子信息科学的进步与芯片算力、云计算架构的发展息息相关。
当前继公有云、私有云、混合云的不断发展之后企业对云计算的使用需求愈加多样化推动云计算服务不断向边缘延伸、下沉向更加全局化的分布式模式进发并逐渐形成了涵盖中心云、区域云、边缘云的分布式云形态。
其中由于边缘云可以提供靠近终端用户的、全域覆盖的、弹性分布式算力资源通过将视频存储和分发、AI计算、智能化数据分析等工作放在边缘处理构建实时音视频处理达到降低响应时延、减轻云端压力、降低带宽成本并供全网调度、算力分发等云服务的目的而如何准确地预测网民侧的客户体验水平是视频内容分发网络进行节点优化布局、调整流量调度策略、节点软件优化的基础和指南针。基于此边缘云内容分发网络客户体验预测算法的探索变得至关重要。
此外如上文所言音视频的创新和突破不仅需要从云服务层面入手也需要底层算力的硬件支撑。本次赛事还为参赛者提供了基于英特尔® Data Center GPU Flex 系列GPU产品的解决方案其标准且灵活的开放软件堆栈和oneAPI、强大的AV1编码器和AI视觉推理能力有助于减少边缘云使用不同解决方案并管理异构或专有环境的需求助力参赛选手更好的探索性能加速与低延时命题。
04 结语
从9英寸的黑白世界杯到4亿人次观看的淘宝直播从1948年的香农定理到2022年的Imagine Computing大赛随着音视频技术的不断发展与突破感知与技术的边界也正被不断拓宽许多曾经以为天方夜谭的新奇应用正随着人工智能算法、算力、以及网络技术的共同发展逐步从科幻作品中走进现实。
在1966年的科幻电视剧《星际迷航》中Kirk船长与企业号船员们常常使用“通用翻译”听懂宇宙各地的外星人语言
在1968年的科幻电影《2001太空漫游》中宇宙飞船上的计算机HAL9000能够直接用AI语音与乘务员进行对话
而在1992年的科幻小说《雪崩》中黑客、日本武士兼披萨饼快递员Hiro Protagonist与女孩Y·T一同在元宇宙中制服了雪崩病毒。
今天它们都成为了现实。 当人类优渥于一种状态总有想象力来冲破平衡。Cloud Imagine《云想之力》是阿里云联合36氪共同打造的系列报道旨在探索云计算大背景下爆发的应用场景和新兴技术以想象的高维碰撞之力窥探“云”上的无限空间。从9英寸的黑白世界杯到4.56亿人的直播狂欢从1948年的香农定理到2022年的lmagine Computing的天池大赛一个超越想象力的崭新纪元就在眼前。
