兰州市城市建设设计院官方网站,洛阳市做网站的,网站关键词在哪里看,广州网站建设价格流媒体开发中#xff0c;流媒体系统的实现从数据采集、编码封装、传输分发、接收解码播放都有哪些技术和实现#xff0c;流媒体和本地音视频又有哪些差异#xff1f;
影像系统开发#xff0c;流媒体方向和普通的多媒体影像系统开发有一定差异。
相同点在于图像多媒体处理…流媒体开发中流媒体系统的实现从数据采集、编码封装、传输分发、接收解码播放都有哪些技术和实现流媒体和本地音视频又有哪些差异
影像系统开发流媒体方向和普通的多媒体影像系统开发有一定差异。
相同点在于图像多媒体处理以及编程系统等通用方面本文重点梳理出差异的部分差异主要在于影像系统在流媒体需要掌握流媒体协议rtsp以及流媒体框架GStreamer在链路流程上增加了传输分发部分在软件系统设计上注重负载均以及高并发低延迟。
流媒体技术通过实时传输音视频数据应用广泛主要涉及直播/短视频平台、视频会议、智能安防等几大类。最近几年的观察具体来说在直播摄像头、会议摄像头、智能家具摄像头都有很多产品推出。 一、流媒体综述
流媒体开发除了编程及嵌入式技术外还需要掌握影像技术。嵌入式系统开发技术涵盖了硬件设计、软件编程、系统调试等多个方面。
在整理流媒体的数据链路上把流媒体技术根据是否通用分为两大类流媒体的特点主要在于网络传输所以如果你要面试流媒体相关岗位除了影像的通用知识最好温习一些网络协议、流媒体协议和框架的知识。
1.1音视频通用
1采集
流媒体的采集模块负责从摄像头、麦克风等输入设备采集原始的音视频数据。
流媒体和多媒体的音视频采集和处理的基础逻辑是相通的比如图像的3A、降噪增强以及音频的回声消除AEC、噪声抑制NS、自动增益控制AGC。
流媒体在采集模块会重点考虑支持不同分辨率帧率的多摄像头设备适配。
2编码
流媒体编码模块将采集到的原始音视频数据进行编码处理压缩成适合网络传输的数据流。
音视频编码是将原始的音视频数据压缩为较小的数据流以便于传输和存储。这一技术对于减少带宽占用、提高传输效率很重要。
常用的音视频编码标准包括H.264、H.265HEVC等视频编码标准和AAC、MP3等音频编码标准。同时会借用平台的能力来降低CPU负载如NVIDIA NVENC、MediaTek APU等等。
3封装
封装模块将编码后的音视频数据按照特定的格式进行封装如FLV、MP4等容器格式可以用来本地存储播放也可以用于网络传输和播放。
4解码
解码播放模块在接收端流媒体接收就用用户端不同于本地芯片内完成编码解码流媒体的编码解码在不同设备完成。接收端析接收到的音视频数据进行解码处理并将解码后的音视频数据传递给播放器进行播放。
1.2流媒体关键技术
1传输
流媒体传输模块利用流媒体传输协议将封装好的音视频数据发送到服务器或接收端。处理网络传输中的各种问题如丢包延迟等。
流媒体传输协议负责将编码后的音视频数据从发送端传输到接收端同时兼顾了实时数据流的传输控制、错误恢复和同步等功能。
常见的流媒体传输协议包括RTSP实时流协议、RTP实时传输协议、HTTP Live Streaming等等传输协议的基础则是网络通信技术包括TCP/IP、Wi-Fi、蓝牙等。
2转发
流媒体服务端使用支持RTMP/HLS/WebRTC协议的流媒体服务器SRS或者Nginx-RTMP通过分布式框架利用CDN智能调用兼顾负载均衡Nginx/HAProxy实现高并发低时延。
3接收
流媒体客户端接收到媒体数据后软件使用Android MediaCodec的API实现解码以及利用PTS/DTS时间戳实现音视频同步。
4多媒体框架
多媒体框架是嵌入式系统中实现音视频播放和录制的软件架构比如GStreamer架构提供了丰富的音视频处理功能包括解码、编码、转码、流媒体处理等。
而我们常说的推流则只是框架中的一环可以使用GStreamer实现也可以通过专用推流框架OBS Studio/WebRTC实现更加快速。
二、流媒体框架GStreamer
在不同的应用场景下音视频嵌入式系统所使用的新媒体播放和流媒体框架会有所不同。
流媒体框架主要用于实时传输和处理音视频数据比如视频监控、网络直播等领域。
GStreamer 是一个开源的多媒体框架基于管道设计采用C语言开发支持跨平台提供了处理流媒体的管道架构和音视频处理能力。它的特点是利用插件架构可以方便地扩展功能包括编码方式、封装格式等。
GStreamer的管道架构是通过链接多个elements构成pipeline来处理多媒体内容用于音频录制、转码、播放以及视频流传输等多种场景。
针对显示和渲染GStreamer也是通过其插件系统来实现的。比如有专门的视频 sink 插件xvimagesink进行视频渲染负责将视频帧输出到屏幕上。
GStreamer插件机制可以实现非常多的格式支持和处理能力不仅用于流媒体服务器、多媒体播放器等在整个图像软件的处理过程中都广泛的使用。
2.1框架代码
1配置环境从官网站下载GStreamer的Android开发包并按照官方文档进行配置一般都是集成好的。
2集成在项目的build.gradle文件中添加相应的依赖或者更多将GStreamer的库直接集成到项目中。
3编写处理代码使用GStreamer提供的API和插件来实现具体的音视频处理功能。
使用gst_parse_launch()函数来创建和配置GStreamer的pipeline通过添加不同的elements如source、sink、filter等来实现音视频数据的捕获、处理、传输等功能软件使用它的核心就是掌握这些elements这和我们掌握ISP的pipeline同理。
4编译和运行将编写的代码保存并编译并连接了硬件设备麦克风和摄像头。使用调试工具测试音视频处理功能是否正常工作。
2.2框架的使用
1音视频录制在插件体系中配置不同的音频源和音频格式配置不同的视频格式满足不同的录制需求。
2视频流传输GStreamer RTSP服务器是一种基于GStreamer框架的实时流传输协议RTSP的服务器可用于在Android平台上进行音视频流的传输和处理。
3音视频转码利用插件实现音视频数据的转码功能根据需要将音视频数据转换为不同的格式或编码以满足不同的播放或存储需求。
4视频播放支持MP4、AVI等多种视频格式的解码和播放集成到安卓应用中实现视频文件的本地播放或网络流媒体播放。
5音视频剪辑与编辑底层可以通过GStreamer的插件和API还可以实现音视频数据的剪辑、合并、添加滤镜等编辑功能。
三、流媒体协议RTSP
在嵌入式系统中常使用实时流协议RTSP和RTMP实时消息传输协议协议来实现流媒体传输。这些协议允许客户端从服务器接收音视频流并实时播放。
RTSPReal Time Streaming Protocol其实是TCP/IP协议体系中的一个应用层协议不同于我们学习时考究的传输层该协议主要用于控制声音或影像的多媒体串流允许同时多个串流需求控制从而支持实时流媒体应用。
3.1RTSP特点
1双向与HTTP的单向不同RTSP协议是双向的。RTSP在交互过程中客户机和服务器都可以发出请求。
2实时RTSP设计用于实时流媒体传输具有较低的延迟满足实时交互的应用场景。
3独立在传输层上RTSP独立于RTP和RTCP又相互配合。RTSP控制媒体流的传输RTP和RTCP则负责实际的数据传输和质量控制。
4功能RTSP不仅用于传输数据它还允许客户端控制媒体流的播放如播放、暂停、快进、快退等。
3.2RTSP工作流
RTSP的核心工作流总结下来就以下几点
1OPTIONS客户端发送OPTIONS请求get以了解服务器支持哪些方法
2DESCRIBE客户端发送DESCRIBE请求get媒体资源的描述信息比如编码分辨率等服务器则返回媒体资源的SDP格式的描述信息。
3SETUP客户端发送SETUP请求用于建立媒体会话指定传输通道协议UDP并请求分配端口服务器则指定媒体流的传输通道和端口。
4PLAY客户端发送PLAY请求以开始媒体流的播放。服务器确认PLAY请求并启动媒体流的传输。
5TEARDOWN当媒体会话结束时客户端发送TEARDOWN请求以终止会话服务器确认并释放相关资源。
四、流媒体应用
RTSP广泛应用于需要实时流媒体传输的场景如视频监控、视频会议、直播和点播服务、流媒体服务器、媒体播放器等。
4.1安防监控
安防监控摄像头可以将实时视频流传输到监控中心或客户端实现远程监控和实时查看。
安防监控框架需要具有高实时性、高稳定性和高可靠性以确保监控视频能够实时、准确地传输和存储。需要支持多种视频编码格式和网络协议以适应不同的监控需求和网络环境。
这些系统通常由摄像头、视频录像设备和嵌入式处理器组成通过与传感器相结合实现图像传输、分析和存储等功能。
除了使用自研专有框架开源框架GStreamer也可用于安防监控系统以实现跨平台的视频流处理和传输。
4.2视频会议
视频会议框架需要具有低延迟、高清晰度和良好的同步性能以确保音视频数据的实时传输和播放。
视频会议系统需要实现音视频数据的实时传输和同步播放以确保参会人员能够清晰地看到和听到对方的发言。
除了使用自研专有框架开源框架WebRTC支持网页浏览器进行实时音视频通信的项目也可以用于视频会议提供了完整的流媒体功能。
4.3直播和服务器
直播观众可以同步实时观看需要保证低时延和高可靠性内容生成和播放同时进行自动调整码率以确保观众能够实时流畅的观看直播内容。
直播系统完整流程主播用OBS推流RTMP协议→ 流媒体服务器SRS接收并转封装为HLS → CDN分发 → 观众通过播放器Video.js拉流观看。
直播主播端实现RTMP推流协议将数据从主播端推送到服务器
流媒体服务器负责接收、处理、分发音视频数据的服务把将推流协议RTMP转换为拉流协议HLS适配不同的终端和网络通过CDN进行内容分发。用户端通过网络接收到直播的媒体数据。
视频流媒体的分发也常用P2P技术对等网络P2PPeer-to-Peer不依赖中心服务器通过分散的节点分发从而优化视频流传输即用户观看视频时其设备可以同时成为其他用户的源。
除了专有框架直播系统中常用的流媒体框架包括RTMP实时消息传输协议框架、HLSHTTP Live Streaming框架等。RTMP框架主要用于实现音视频数据的实时传输和控制而HLS框架则主要用于实现音视频数据的分片传输和自适应码率播放。
4.4 点播和播放器
区别于直播点播是用户按需观看预先录制好的内容比如电影、短视频等数据被预先存储在了服务器中。
点播框架需要具有高兼容性、高稳定性需要支持多种音视频格式和编码标准以确保用户能够播放各种音视频内容。
点播系统完整流程上传MP4文件 → 服务器转码为多码率HLS → 存储至云端 → 用户点播时播放器根据网速自动选择最佳码率。
点播系统的核心在于播放段点播系统允许用户根据自己的需求选择、快进、播放内容。在服务器中进行根据不同的网路环境进行转码生成不同码率版本通过渐进式下载或自适应流传输。
RTSP服务器可以从实时视频源获取音视频流并通过RTSP将其传输到客户端进行播放同时支持点播服务。
除了专有框架点播系统中常用的新媒体播放框架包括各种播放器软件所使用的框架如VLC、MPlayer等。这些框架通常支持多种音视频格式和编码标准能够解码并播放用户选择的音视频内容。
4.5音视频编辑
在音视频编辑领域根据编辑平台的不同每家公司形成了自己的框架比如桌面端Adobe Premiere Pro提供丰富的编辑工具和特效库移动端KineMaster具有轻便、易用和高效的特点云端WeVideo备在线协作、实时预览和分享等功能。
但底层通常依赖于少数开源多媒体处理框架如GStreamer、FFmpeg等GStreamer的插件化架构适合灵活扩展但性能优化不如FFmpeg在此基础上每家企业常用的模式都是开源自研的组合方案实现最终的项目方案。
总结
流媒体系统的开发的典型特点一个是最终低延迟和高并发另一个就是注重传输协议设计以及编解码优化。
当前拥抱AI的发展主要发展还是AI实时美颜AI语音降噪边缘计算等。
软件在流媒体的主要的优化方向在服务器侧主要是降低延迟和高并发比如减少协议栈层级容器化部署等在客户端主要是内存优化降低功耗。
总结来说关注流媒体的差异通信协议和流媒体框架同时还是要多回归到影像上。流媒体的应用比如监控已经发展很完备了从zf监控到如今的家用监控直播摄像头发展还是蛮快的实际看过好几家的产品都在迭代中。 相关链接 Android音视频多媒体开源库基础大全 https://mp.weixin.qq.com/s/mM5iYNbTPs4IganY-w_ilw Android音视频多媒体开源框架基础大全 https://mp.weixin.qq.com/s/Hb_IcdTYd10QZaOSf7RTIQ
看到这里还不帮忙点个赞和关注十分感谢VX :森哥谈成像技术更新更及时哦。
