怎样登入网站后台,青岛做网站建设价格低,东莞网站开发哪家强,wordpress代码实现下载文件一、音频概述
RTMP中一般音频采用aac编码#xff0c;采样率为44100HZ, 每帧1024采样#xff0c;帧率43#xff0c;23.2ms一帧 RTC中一般音频采用opus编码#xff0c;采样率为48000HZ#xff0c;每帧480采样#xff0c;帧率100#xff0c;10ms一帧
通道数#xff08;c…一、音频概述
RTMP中一般音频采用aac编码采样率为44100HZ, 每帧1024采样帧率4323.2ms一帧 RTC中一般音频采用opus编码采样率为48000HZ每帧480采样帧率10010ms一帧
通道数channels
声音的通道数,常用的有单声道和立体声之分。
采样频率
也称为采样速度定义了每秒从连续信号中提取并组成离散信号的采样个数它用赫兹HZ来表示例如44.1Hz
采样位数(采样格式)
采样格式是为了实现度量每个采样点。通常使用16bit(2字节)也就是2的16次方共有65536个不同的度量值这样采样位数越高音频度量化的就越精细音质同样也就越高。
采样个数(样本数)
对于采样频率采样频率是一秒采样的个数例如48000HZ每秒采样个数为4800044100HZ每秒采样个数为44100。
而对于一帧音频的采样个数AAC固定一帧采样1024个MP3格式则为1152。
计算一帧音频的大小
一帧音频的大小(字节) 通道数 x 采样个数 x 采样位数。例如该音频帧是FLTP格式的PCM数据那么就是aac所以一帧中包含1024个采样个数并且是双声道的话那么该音频帧包含的数据量是 2 x 1024 x 4 8192字节。 若格式改成AV_SAMPLE_FMT那那么采样位数是64位8字节数据量为 2 x 1024 x 8 16384字节。
每秒播放的音频字节大小
每秒播放的音频字节大小(字节) 通道数 x 采样个数 x 采样位数。公式是一样的但是由于求的是每秒的数据量而不是一帧的数据量所以我们需要知道它的采样频率。 例如当采样频率为48kHZ时一秒包含48k个采样个数而不是1024个同样是双声道FLTP格式那么每秒的数据量是 2 x 48000 x 4 384000字节。
一帧音频的播放时长
一帧播放时间(毫秒) 每帧样本数 * 1000 / 采样率以采样率44100HZ来计算每秒44100个sample而正常一帧为1024个sample由于比是相等的可知每帧播放时间/1024 1000ms/44100得到每帧播放时间 (1024 * 1000) / 44100 23.2ms(更精确的是23.21995464852608)。
或者用另一种方式去理解公式1s显示的帧数 44100 / 1024 43.06640625帧。所以每一帧的播放时长 1s / 43.06640625 1000ms / 43.06640625 23.21995464852607ms。和上面的公式一样(浮点数尾部运算存在极小误差是正常)。 帧率44100(每秒的采样) / 1024每帧的采样 43帧/s
所以转换一下公式 一帧播放时间(毫秒) 1000ms / (44100 / 1024) 1000ms * 1024 / 44100 23.2ms(更精确的是23.21995464852607)。
关于音频时间精度的例子
例如当采样频率为44.1kHZ一帧播放时间(毫秒) nb_sample样本数 * 1000 / 采样率 1024 * 1000 / 44100 23.21995464852608ms约等于23.2ms精确损失了0.011995464852608ms如果累计10万帧误差 1199毫秒如果有视频一起的就会出现音视频同步的问题如果按着23.2msm去计算pts(0 23.2 46.4 …)就会有累积误差。
二、声波
波形叠加原理
声波是一种机械波遵循叠加原理当两个波形相遇时它们的振幅会相加如果一个波形与其完全相反的波形相位相差180度叠加理论上会相互抵消这也叫做相位反转或者音频反向。可利用这个原理进行噪声消除通过分析原始音频中的噪声部分可以生成一个与噪声波形完全相反的波形。将这个反向波形添加到原始音频中理论上可以抵消噪声部分。
波是一种能量传播的形式不涉及物质的整体移动。波通过介质中的粒子振动来传播能量。
叠加原理状态当两个或多个波在同一介质中传播时每个波的效果是独立的总效果是各个波效果的代数和。当两个波相遇时它们会同时影响介质中的同一粒子每个波都试图使粒子按照自己的方式振动粒子的实际运动是这些独立影响的综合结果。
同相波如果两个波的相位相同它们的振幅会直接相加导致更大的振幅。
反相波如果两个波的相位相差180度它们的振幅会相互抵消
当两个或多个波相遇时它们会暂时相互影响产生叠加效果但在相遇后每个波会继续按照自己原有的方向、速度、频率和振幅传播就像它们从未相遇过一样。
每个波保持其独立性不会因为与其他波的相遇而永久改变其特性在一个嘈杂的房间里尽管有多种声音混合在一起但你仍然能够分辨出特定的声音如某人的说话声。这是因为每个声波在相互叠加后仍保持其原有特性。当两个水波圈相遇时它们会在交叉点产生干涉图案但通过这个区域后每个波仍然保持其原有的形状和传播方向。
空气是声波传播的主要介质之一声波通过空气分子的压缩和膨胀来传播。温度、湿度、密度等因素会影响波尤其是声波在空气中的传播速度和衰减。空气的流动如风也会影响波的传播方向和速度。
振幅是波从平衡位置到波峰或波谷的最大位移它表示波的强度或大小。在波形图上振幅是从中线平衡位置到波峰或波谷的垂直距离。
频率指的是每秒钟声波振动的次数单位是赫兹Hz一般来说频率越高我们感知到的声音音调就越高频率低的声音我们听起来音调较低超过20,000 Hz的声波称为超声波人耳通常听不低于20 Hz的声波称为次声波同样难以被人耳直接感知。
音调是我们感知声音高低的主观体验在音乐中音调直接对应音符如C、D、E等。响度是我们感知声音大小或强弱的主观体验主要由声波的振幅强度决定振幅越大感知的响度通常越大客观上用分贝dB来测量声压级在音乐中体现为音量的强弱变化。
三、分子是如何振动的
声波本质上是一种能量传递的形式。它通过介质如空气中的压力波动来传播。空气由分子组成主要是氮气和氧气分子。这些分子之间存在微弱的相互作用力。声波通常由物体的振动产生如扬声器振膜、声带振动等。这种振动首先推动附近的空气分子。被推动的分子会与周围的分子发生碰撞。通过这些碰撞能量从一个分子传递到另一个分子。空气具有一定的弹性。当分子被挤压时它们会产生反作用力试图恢复原来的位置。分子具有质量因此也具有惯性。这意味着它们倾向于保持运动状态。声波在传播过程中创造了局部的压力差。高压区的分子会向低压区移动造成振动。这种压力波动和分子运动的过程不断重复。结果是一种连续的、波状的能量传递。不同频率的声波会导致分子以不同的速率振动。这就是为什么我们能听到不同音调的声音。
声波是一种纵波即振动方向与波传播方向平行它通过空气中的压缩和膨胀区域传播。空气分子在声波影响下沿着波的传播方向前后振动。它们不会随波传播而持续移动而是在原位置附近振动。
声波传播时会形成交替的高压压缩和低压膨胀区域。在压缩区域分子被挤压在一起。在膨胀区域分子相对分散。分子通过碰撞将能量传递给相邻分子。这种能量传递导致声波在空气中传播。分子振动的幅度很小通常在纳米级别。分子振动的频率与声波频率相同。
尽管单个分子的运动微小但大量分子的集体运动产生了我们能感知的声音。
声波的能量最终会转化为热能。这就是为什么声波会随距离衰减。 四、音频3a
3A 音频处理技术是声学回声消除AEC、背景噪声抑制ANS、自动增益控制AGC三种音频算法的合称。
在音频数据的处理过程中在音频数据采集完成之后需要进行预处理3A 是预处理的关键。 AEC 回声消除算法原理及详解
回声消除AEC是指在二线传输的两个方向上同时间、同频谱地占用线路在线路两个方向传输的信号完全混在一起本端发信号的回波就成为了本端信号的干扰信号利用自适滤波器可抵消回波以达到较好的接收信号质量即为回声消除。
回声消除的原理就是利用接收到的音频与本地采集的音频做对比添加反向的人造回声将远端的声音消除。
在容易产生回声的通信场合自适应回声消除算法是一项不可缺少的技术其主要应用领域有视频会议系统、免提电话、可视电话终端、移动通信或声控系统及会议麦克风等。
尤其在视频会议系统和免提语音通话中回声的存在严重影响会议质量特别是在企业远程会议中由于传输延时加大回声的影响更加恶劣明显。
ANS 背景噪声抑制方法和作用
背景噪声抑制ANS指的是将声音中的背景噪声识别并进行消除的处理。
背景噪声分平衡噪声和瞬时噪声平稳噪声频谱稳定瞬时噪声频谱能量方差小利用噪声的特点对音频数据添加反向波形处理即可消除。
目前对于平稳的噪声已经有很多种简单方法能够成功抑制但是生活中常见的一些瞬态噪声却依然缺乏好办法。
瞬态噪声的共同特点就是突发性极强在时域上呈振荡衰弱的形式持续时间在十几毫秒至上百毫秒不等在频域上分布很宽瞬态噪声的频谱基本上是和正常语音的频谱混叠在一起很难进行抑制。
AGC 自动增益算法实现与影响
自动增益控制AGC主要用于调整音量幅值提高语音通信系统在带噪声环境中的性能。
人们正常交谈的音量在 40-60dB 之间低于 25dB 的声音听起来很吃力而超过 100dB 的声音会让人感到不适AGC 的作用就是将音量调整到人接受的范围。
音频响度及麦克风拾音控制是保证音视频沟通质量的重要技术手段一般来说音频标准、传输条件、人为失误等因素都可能导致音频信号之间出现声音突变或者响度不一致的情况这时候就需要对音频信号放大或缩小以得到自然清晰的语音通信。
参考融云音频3a音频 3A 处理实践让你的应用更「动听」 – 融云 Blog-融云即时通讯云|实时音视频
