吉林高端网站建设,ios wordpress 编辑器,郑州网站设计汉狮网络,google关键词挖掘工具运动补偿(Motion Compensation,MC)是帧间预测最基础的工具#xff0c;AV1支持两种运动补偿方式#xff0c;一种是传统的平移运动补偿#xff0c;另一种是仿射运动补偿。下面分别介绍这两种运动补偿方法。
平移运动补偿 平移运动补偿是最传统的运动补偿方式#xff0c;H.26…运动补偿(Motion Compensation,MC)是帧间预测最基础的工具AV1支持两种运动补偿方式一种是传统的平移运动补偿另一种是仿射运动补偿。下面分别介绍这两种运动补偿方法。
平移运动补偿 平移运动补偿是最传统的运动补偿方式H.264/H.265的运动补偿都是这种方式待编码块根据运动向量Motion VectorMV在参考帧中寻找预测块这个过程便是运动搜索。
AV1的运动搜索支持1/8像素精度对于非整像素位置使用可分离的插值滤波器生成子像素。 图1 子像素插值
子像素的生成过程如图1首先进行水平插值然后再进行垂直插值。对于插值滤波器如果截止频率高则会更多的保留高频分量如果截止频率低则会去除更多的高频分量。在VP9中插值滤波器可以自适应的在3种8抽头滤波器中选择每种滤波器对应不同的截止频率选定一种滤波器后水平和垂直方向都使用该滤波器。AV1在VP9的基础上允许水平和垂直方向选择不同的滤波器每个方向可以从3种滤波器中选择截止频率由低到高分别为SMOOTH、REGULAR和SHARP。图2是水平和垂直方向选择各种滤波器的热力图。 图2 插值滤波器热力图
为了降低解码复杂度SMOOTH和REGULAR使用6抽头滤波器SHARP使用8抽头滤波器。三种滤波器对应的半像素插值的滤波系数如下 为了降低最坏情况下的复杂度所有块都划分到4x4某一维度小于等于4的块只允许使用两种4抽头滤波器进行半像素插值且没有SHARP滤波器。 仿射运动补偿 仿射模型参数估计
除了平移运动视频内容很可能还包含旋转、缩放等仿射运动AV1支持仿射运动补偿通过仿射变换模型将(x,y)处的像素投影到(x,y) (1)
其中h_ij是仿射变换系数(h13,h23)是平移因子和平移运动中的mv作用相同h11和h22控制着水平和垂直方向的缩放h11、h12、h21、h22共同控制旋转。
AV1共有两种affine mode一种是全局affine mode和参考帧相绑定编码块可以根据参考帧索引使用对应的全局模型。平移因子(h13,h23)使用15比特精度编码4个非平移因子h11、h12、h21、h22使用12比特精度编码。全局模型主要捕获整体的旋转和缩放特征更关注整体的运动。
另一种affine mode是编码块级的局部模型然而如果对每个块都传输affine参数将会消耗大量码率因此AV1使用空域相邻块的mv来估计affine mode参数。局部模型中平移因子(h13,h23)类似于mv在码流中显示传输其他4个参数使用相邻块mv估计得到。编码器会扫描最近相邻块寻找和当前块参考帧相同的块作为候选项最多8个候选项利用候选项的mv来计算仿射模型参数。对每个候选项计算它的中心坐标相对当前块中心坐标的偏移当作变换前的位置这个偏移值加上两个块间的mvd作为变换后的位置用最小二乘法计算变换前后位置即可求解出模型参数。 图3 局部仿射模型参数估计
以图3为例(xi,yi)是第i个块的中心坐标mvi是对应运动向量。按Blk1到Blk7的顺序遍历相邻块选择和当前块参考帧相同的块这里选中Blk1、Blk2、Blk5和Blk7。
首先计算中心坐标偏移值作为变换前的位置 对应变换后为位置为 由仿射变换公式1可得 将4个块变换前后的坐标带入上面公式即可用最小二乘法求得仿射变换的非平移参数h11、h12、h21、h22。 注意为了保证空域相关性若mvd任何一个分量的绝对值超过8个像素则不使用该参考块同时如果有效参考块数量小于2则无法用最小二乘法求解则不能使用局部仿射模型。
仿射运动估计 得到仿射模型后便可以对编码块使用仿射运动估计即通过仿射运动找到每个像素在参考图像中对应的坐标得到预测像素。仿射运动只对8x8及以上的块才能使用对于大于8x8的块首先将其划分为8x8子块对每个8x8子块的中心坐标通过平移运动因子(h13,h23)计算在参考图像中对应的坐标如同4中当前块中心(x0,y0)在参考图像中对应的坐标为(x1,y1)块中其他像素(x,y)以(x1,y1)为中心进行旋转和缩放得到仿射变换后的坐标(x,y) 图4 仿射预测
AV1中仿射预测是1/64像素精度使用8抽头滤波器角点位置使用6抽头滤波器进行分像素插值。如图1所示普通的平移运动可以复用子像素插值的中间结果从而减少计算量。对于8x8的块插值首先利用15x15区域内的像素使用水平插值生成15x8的中间结果然后在中间结果上使用垂直插值生成8x8块。水平插值需要(15x8)x8960次乘法垂直插值需要(8x8)x8512次乘法总共需要1472次乘法。
而仿射变换后的每个像素偏移值可能不同导致无法复用中间插值结果如果直接进行插值计算需要64x8x84096次乘法。为了减少计算量仿射变换可以通过两次错切变换完成关于错切的定义可自行百度 上面式子的右边第一部分是垂直错切矩阵第二部分是水平错切矩阵。对8x8块的仿射变换分为两个阶段首先使用水平错切求得15x8的中间结果获得水平位置偏移值 然后在中间结果上使用垂直错切得到垂直偏移值 最终得到8x8的预测块总共需要1472次乘法运算。
为了使插值使用的像素限制在15x15区域内对仿射参数需要满足下面两个条件
