网站自建系统,网页设计font代码,网站创建公司,做网站开直通车第1章 方案简介
1.1 行业痛点
在各种智慧城市、智慧社区、智慧水利、智慧矿山等数字孪生项目中#xff0c;经常使用通UE来开发三维可视化场景。在这些场景中通常都需要把现场的各种监控视频在UE的可视化场景中接入#xff0c;主要包含海康威视、大华、宇视、华为等众多监控…第1章 方案简介
1.1 行业痛点
在各种智慧城市、智慧社区、智慧水利、智慧矿山等数字孪生项目中经常使用通UE来开发三维可视化场景。在这些场景中通常都需要把现场的各种监控视频在UE的可视化场景中接入主要包含海康威视、大华、宇视、华为等众多监控厂商的设备与平台监控视频流都是通过RTSP协议实时传送。
但是在UE中没有好用的RTSP实时流播放插件当前仅有一款UMP播放插件基于VLC播放器开发的但是延时很大通常在3秒以上根本无法满足实时播放的需要。比如远程指挥和应急通信、抢险救灾等应用要求端到端延时在500ms以内否则基于这种过时的视频信号做出的所有判断和决定将带来极其严重的后果比如通过视频远程操控无人机、远程操控无人驾驶车辆等。
部分安防监控厂商也推出了视频播放解决方案比如海康的统一视频监控平台可以输出HLS的m3u8格式的网络流这种格式可以在H5浏览器中播放嵌入到UE中调用CEF嵌入式浏览器播放时延时更大通常在10秒以上也远远无法满足项目需求。
因此行业内急需一套成熟的低延时视频接入解决方案从而满足基于UE开发的各种可视化平台业务的需要。
第2章 解决方案实现
经过十多年的流媒体技术研发积累和对当前各种应用场景的调研分析北京顺景科技有限公司历时两年多时间开发了一款通用的低延时视频接入解决方案我们采用B/S架构方式来实现这个功能该方案可以实现在终端H5浏览器中超低延时播放端到端播放延时可以控制在500ms以内在UE中可以调用CEF实现嵌入式播放。实现效果如下 UE中低延时播放RTSP视频 2.1 技术架构
首先该方案基于多协议视频转码技术和低延时流媒体直播发布技术来实现整个方案的架构如下
2.2 功能模块构成
该方案主要由三部分组成分别是低延时转码推流工作站、低延时流媒体发布服务器、低延时H5网页播放器 1. 低延时转码推流工作站 主要功能是将前端监控摄像头的RTSP网络流拉取后进行实时转码然后推送给低延时流媒体发布服务器。 该工作站根据不同的使用环境可以采用软件PC架构实现也可以采用嵌入式低功耗设备实现主要用于户外场景不便于维护的场合。
2. 低延时流媒体发布服务器 用于接收低延时转码推流工作站推送上来的视音频信号然后将其以流媒体的方式进行实时发布。 该平台采用通用的硬件服务器流媒体平台软件来实现可以为用户有效节省投资。 低延时流媒体发布服务器 可以实现如下功能 1 支持上千个网络摄像头的并发接入 2 支持PC、智能手机、等多终端设备通过H5浏览器直接播放 3 单台服务器支持1000以上用户并发收看 4 支持按需拉流转发从而节约服务器端的带宽资源消耗 5 支持直播节目的同步录制功能录制完成后可以自动生成点播内容 6 支持服务器的性能和状态监控包括CPU和内存占用率、实时连接数、网络带宽占用等。 7 多终端自动适配技术。 针对当前主流的客户端设备我们开发了终端自适应播放功能可以自动适配PC端的主流浏览器Fifrfox、Chrome、SafariAndroid端的HTML5浏览器iOS端的HTML5浏览器微信小程序等。
3. 低延时H5 网页播放器 该播放器主要用于实时接收流媒体服务器发布的直播流然后将其以H5的方式进行实时解码播放。该播放器经过深度优化设计只缓冲1~2帧数据具有快速接收和解码能力。主要特性如下 1 接收和解码延时极低通常在40ms左右最高不超过80ms 2 支持MSE硬件加速解码 3 支持主流的浏览器包括UE嵌入式CEF浏览器、Chrome、Edge、Fifrfox、Safari等 4 支持高清和VR视频播放 5 可以适配多种操作系统终端包括Windows系统、Linux系统、Android系统、iOS系统、国产信创系统麒麟、统信等
2.3 方案效果
经过大规模的应用场景使用当前该系统可以达到如下效果 在局域网和专网环境下端到端的直播延时通常在300ms以内 在互联网环境下端到端的直播延时通常在500ms以内 在UE的CEF内嵌式播放中可以支持到4K60FPS实时解码画面播放流畅。 UE中的嵌入式播放效果 2.4 在线测试 我们搭建了一个公网的在线测试环境感兴趣的朋友可以通过该系统自行测试 http://www.shunjingtech.com/xmms/pc.html
