网站优化是往新闻中心发新闻吗,wordpress添加3D,c2c电商平台网站,制作视频的app有哪些图像基础知识
像素
像素是图像的基本单元#xff0c;一个个像素就组成了图像。你可以认为像素就是图像中的一个点。在下面这张图中#xff0c;你可以看到一个个方块#xff0c;这些方块就是像素 分辨率
图像#xff08;或视频#xff09;的分辨率是指图像的大小或尺寸。…图像基础知识
像素
像素是图像的基本单元一个个像素就组成了图像。你可以认为像素就是图像中的一个点。在下面这张图中你可以看到一个个方块这些方块就是像素 分辨率
图像或视频的分辨率是指图像的大小或尺寸。我们一般用像素个数来表示图像的尺寸。比如说一张1920x1080的图像前者1920指的是该图像的宽度方向上有1920个像素点而后者1080指的是图像的高 度方向上有1080个像素点。 Stride
Stride也可以称之为跨距指的是图像存储时内存中每行像素所占用的 空间。跨距为了能够快速读取一行像素我们一般会对内存中的图像实现内存对齐比如16字节对齐。
比如有一张RGB图像分辨率是1278x720。我们将它存储在内存当中一行像素需要 1278x3 3834个字节3834除以16无法整除。因此没有16字节对齐。所以如果需要对齐的话我们需 要在3834个字节后面填充6个字节也就是3840个字节做16字节对齐这样这幅图像的Stride就是3840了。 图像显示格式
RGB
我们看到的彩色图像中都有三个通道这三个通道就是R、G、B通道,有的时候还会有Alpha值代表透明度) 通常R、G、B各占8个位我们称这种图像是8bit图像。 YUV
对于图像显示器来说它是通过RGB模型来显示图像的。而在传输图像数据时是使用YUV模型的因为YUV模型可以节省带宽。所以就需要采集图像时将RGB模型转换到YUV模型显示时再将YUV模型转换为RGB模型。
1. YUV解决了彩色电视机与黑白电视的兼容问题它将亮度信息Y与色彩信息UV分离没有UV信息一样可以显示完整的图像只不过是黑白的。
2. YUV更方便对视频信号进行压缩占用的带宽更低。符合人眼的视觉特性人眼对亮度的敏感度要大于红蓝所以我们可以保留Y原始值的基础上降低U和V的值而不影响观看从而更加有效的存储图像数据。
3. YUV不像RGB那样要求三个独立的的视频信号同时传输所以YUV方式传送占用极少的频宽。
YUV 颜色编码采用的是 明亮度 和 色度 来指定像素的颜色。其中Y 表示明亮度Luminance、Luma而 U 和 V 表示色度Chrominance、Chroma。YUV主要分为YUV 4:4:4,YUV 4:2:2,YUV 4:2:0几种常用类型。 YUV 4:4:4采样
意味着Y、U、V三个分量的采样比例相同所以在生成的图像里每个像素的三个分量信息都是8bit所以相比RGB颜色模型的图片大小一样。
YUV 4:2:2采样
UV分量是Y分量的一半Y分量和UV分量按照2:1的比例采样如果水平方向有10个像素点那么采样了10个Y分量就只采样了5个UV分量第一个像素和第二个像素共用一个UV 相较RGB可以节省1/3 的空间更利于图像传输。 YUV 4:2:0采样
YUV 4:2:0 采样并不是指只采样 U 分量而不采样 V 分量。而是指在每一行扫描时只扫描一种色度分量U 或者 V和 Y 分量按照 2 : 1 的方式采样。比如第一行扫描时YU 按照 2 : 1 的方式采样那么第二行扫描时YV 分量按照 2:1 的方式采样。对于每个色度分量来说它的水平方向和竖直方向的采样和 Y 分量相比都是 2:1 。 相较RGB 可以节省1/2的存储空间也是当下主流的采样方式 Android Camera 预览流返回格式。
音频基础知识
由物理学可知复杂的声波由许多具有不同振幅和频率的正弦波组成。代表声音的模拟信息是个连续的量不能由计算机直接处理必须将其数字化。数字声音信息才能够像文字和图形信息一样进行存储、检索、编辑和其它处理。 采样以适当的时间间隔观测模拟信号波形不连续的样本值替换原来的连续信号波形的操作又称为取样 。为了复原波形一次振动中必须有2个点的采样人耳能够感觉到的最高频率为20kHz因此要满足人耳的听觉要求则需要至少每秒进行40k次采样
量化数字音频中把表示声音强弱的模拟电压用数字表示。模拟电压的幅度即使在某电平范围内仍然可以有无穷多个如1.2V,1.21V,1.215V…。而用数字来表示音频幅度时只能把无穷多个电压幅度用有限个数字表示。即把某一幅度范围内的电压用一个数字表示这称之为量化。
编码 将量化后的数据转为二进制
视频基础知识
下图可以很清晰的说明决定视频画质的几个要素 分辨率
视频分辨率又可称为视频解析度、解像度指的是视频图像在一个单位尺寸内的精密度。
帧率
在视频中一个帧(Frame)就是指一幅静止的画面。帧率就是指视频每秒钟包括的画面数量(FPSFrame per second)。
码率
编码器每秒编出的数据大小单位是kbps比如上图的3000kbps代表编码器每秒产生 375kb 的数据
编码
编码的终极目的就是为了压缩。各种视频编码方式都是为了让视频变得体积更小有利于存储和传输。
要实现压缩就要设计各种算法将视频数据中的冗余信息去除。
如果一幅图全是红色的我有没有必要说2073600次[255,0,0] 还是我只要说一次[255,0,0]然后再说2073599次“同上”
如果一段视频大部分画面是不动的或者有80%的图像面积整个过程都是不变的。那么是不是这块存储开销就可以节约掉了?
基本原理
空间冗余图像相邻像素之间有较强的相关性
时间冗余视频序列的相邻图像之间内容相似
编码冗余不同像素值出现的概率不同
视觉冗余人的视觉系统对某些细节不敏感
知识冗余规律性的结构可由先验知识和背景知识得到。
宏块
每一帧图像又是划分成一个个块来进行编码的这一个个块在H264中叫做宏块而在VP9、AV1 中称之为超级块其实概念是一样的。宏块大小一般是16x16 H264、VP8 , 32x32 H265、VP9, 64x64 H265、VP9、AV1 , 128x128 AV1这几种。这里提到的H264、H265、VP8、VP9和AV1都是市面上常见的编码标准。
帧类型
帧间预测需要参考已经编码的帧帧间编码帧可以分为只参考前面帧的前向编码帧和前后都可以参考的双向编码帧。
I帧是自带全部信息的独立帧是最完整的画面(占用的空间最大)无需参考其它图像便可独立进行解码。视频序列中的第一个帧始终都是I帧。
P帧“帧间预测编码帧”需要参考前面的I帧和/或P帧的不同部分才进行编码。P帧对前面的P和I参考帧有依赖性。
B帧“双向预测编码帧”以前帧后帧作为参考帧。不仅参考前面还参考后面的帧所以它的压缩率最高可以达到200:1。
如图箭头是从参考帧指向编码帧 GOP(序列)和IDR
在H264中图像以序列为单位进行组织一个序列是一段图像编码后的数据流。
一个序列的第一个图像叫做 IDR 图像立即刷新图像IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步当解码器解码到 IDR 图像时立即将参考帧队列清空将已解码的数据输出或抛弃重新查找参数集开始一个新的序列。如果前一个序列出现重大错误在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。
一个序列就是一段内容差异不大的图像编码后生成的一串数据流。当运动变化比较少时一个序列可以很长所可以编一个I帧然后一直P帧、B帧了。当运动变化多时可能一个序列就比较短了比如就包含一个I帧和1、2个P帧。
在视频编码序列中GOP即Group of picture图像组指两个I帧之间的距离Reference参考周期指两个P帧之间的距离。两个I帧之间形成一组图片就是GOPGroup Of Picture。
PTS和DTS
如果IBP数据流并非有序返回存在先到的B、P帧等I帧的情况就需要引入 PTS和DTS概念
DTSDecoding Time Stamp即解码时间戳这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
PTSPresentation Time Stamp即显示时间戳这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。
假设编码器采集到的帧是这个样子的I B B P B B P 1 2 3 4 5 6 7
假设 编码器的编码顺序是 I P B B P B B 1 4 2 3 7 5 6
接收端 根据PTS 显示对应的数据
参考链接
https://blog.csdn.net/u012124438/article/details/123385424
