建设网站的机构,网站建设济南,网站运营和管理,新密网站建设1 H264介绍 我们了解了什么是宏快#xff0c;宏快作为压缩视频的最小的一部分#xff0c;需要被组织#xff0c;然后在网络之间做相互传输。 H264更深层次 —》宏块 太浅了
如果单纯的用宏快来发送数据是杂乱无章的#xff0c;就好像在没有集装箱 出现之前#xff0c;…1 H264介绍 我们了解了什么是宏快宏快作为压缩视频的最小的一部分需要被组织然后在网络之间做相互传输。 H264更深层次 —》宏块 太浅了
如果单纯的用宏快来发送数据是杂乱无章的就好像在没有集装箱 出现之前货物总是随意被堆放到船上。
上货编码下货是非常痛苦的。 当集装箱出现之后一切都发生了改变传输效率大大增高。
集装箱可以理解成H264编码标准他制定了相互传输的格式将宏快 有组织有结构有顺序的形成一系列的码流。这种码流既可 通过 InputStream 网络流的数据进行传输也可以封装成一个文件进行保存
**H264: H264/AVC是广泛采用的一种编码方式。**主要作用是为了传输
1.1 H264码流组成
组成H264码流的结构中 包含以下几部分 从大到小排序依次是 H264视频序列图像片组片NALU宏块 像素。 类似 地球 国家 城市 镇 村落 1.1.1 H264编码分层
NAL层:Network Abstraction Layer,视频数据网络抽象层 它的作用是H264只要在网络上传输在传输的过程每个包以太网是1500字节而H264的帧往往会大于1500字节所以要进行拆包将一个帧拆成多个包进行传输所有的拆包或者组包都是通过NAL层去处理的。VCL层:Video Coding Layer,视频数据编码层 对视频原始数据进行压缩
1.1.2 H264的传输
H264是一种码流 类似与一种不见头也不见尾的一条河流。如何从和流中取到自己想要的数据呢
在H264的标砖中有这样的一个封装格式叫做Annex-B的字节流格式。 它是H264编码的主要字节流格式。
几乎市面上的编码器是以这种格式进行输出的。起始码0x 00 00 00 01 或者 0x 00 00 01 作为分隔符。
两个 0x 00 00 00 01之间的字节数据 是表示一个NAL Unit
1.1.3 编码结构 切片头包含了一组片的信息比如片的数量顺序等等
1.1.4 H264码流分层结构图 H.264 的编码视频序列包括一系列的NAL 单元每个NAL 单元包含一个RBSP。一个原始的H.264由N个NALU单元组成、 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成其中 Start Code 用于标示这是一个NALU 单元的开始必须是00 00 00 01 或00 00 01。
1.1.5 H.264网络传输
H.264的编码视频序列包括一系列的NAL单元每个NAL单元包含一个RBSP
见表1。编码片包括数据分割片IDR片和序列RBSP结束符被定义为VCL NAL单元其余为NAL单元。
典型的RBSP单元序列如图2所示。
RBSP 顺丰 头 顺丰公司尾部
每个单元都按独立的NAL单元传送。单元的信息头一个字节定义了RBSP单元的类型NAL单元的其余部分为RBSP数据。 起始码如果NALU对应的Slice为一帧的开始则用4字节表示即0x00000001否则用3字节表示0x000001。 NAL Headerforbidden_bitnal_reference_bit优先级nal_unit_type类型。 脱壳操作为了使NALU主体不包括起始码在编码时每遇到两个字节连续的0就插入一字节0x03以和起始码相区别。解码时则将相应的0x03删除掉。 H.264解码 NAL头信息的nal_referrence_idcNRI用于在重建过程中标记一个NAL单元的重要性
值为0表示这个NAL单元没有用预测因此可以被解码器抛弃而不会有错误扩散值高于0表示NAL单元要用于无漂移重构且值越高对此NAL单元丢失的影响越大。NAL头信息的隐藏比特位在H.264编码器中默认为0当网络识别到单元中存在比特错误时可将其置为1。隐藏比特位主要用于适应不同种类的网络环境比如有线无线相结合的环境。 NAL单元解码的流程为首先从NAL单元中提取出RBSP语法结构然后按照如图4所示的流程处理RBSP语法结构。输入的是NAL单元输出结果是经过解码的当前图像的样值点。 NAL单元中分别包含了序列参数集和图像参数集。图像参数集和序列参数集在其他NAL单元传输过程中作为参考使用在这些数据NAL单元的片头中通过语法元素pic_parameter_set_id设置它们所使用的图像参数集编号而相应的每个图像参数集中通过语法元素seq_paramter_set_id设置他们使用的序列参数集编号
