网站域名备案 更改吗,佛山网站建设优化制作公司,苏州网站优化维护,品牌营销的定义音频信号和图像信号在做分类时的基本流程类似#xff0c;区别就在于预处理部分存在不同#xff1b;本文简单介绍了下音频处理的方法#xff0c;以及利用深度学习模型分类的基本流程。 目录
一、音频信号简介
1. 什么是音频信号
2. 音频信号长什么样
二、音频的深度学习分… 音频信号和图像信号在做分类时的基本流程类似区别就在于预处理部分存在不同本文简单介绍了下音频处理的方法以及利用深度学习模型分类的基本流程。 目录
一、音频信号简介
1. 什么是音频信号
2. 音频信号长什么样
二、音频的深度学习分类基本流程 一、音频信号简介
1. 什么是音频信号
音频信号是声音波形的电学表示它可以捕捉声音的频率、幅度和时间特性。音频信号可以是模拟的也可以是数字的 模拟音频信号 模拟音频信号是连续变化的电信号它模拟了原始声音波形的物理特性。它可以通过麦克风捕获并通过扬声器、耳机或放大器进行播放。模拟信号可以被录制在磁带、黑胶唱片等介质上。 数字音频信号 数字音频信号是通过将模拟信号转换为一系列数字值来表示的这个过程称为模数转换ADC。数字音频信号通常以文件形式存储如MP3、WAV、AAC等格式。数字音频可以方便地进行编辑、处理和传输且不受模拟信号的退化问题影响。
音频信号的基本属性包括
采样率Sampling Rate每秒内捕获的样本数量单位是赫兹Hz。常见的采样率有44.1 kHzCD质量、48 kHz等。位深度Bit Depth每个样本的量化精度单位是比特bit。常见的位深度有16位、24位等。通道数Channels音频信号的声道数量如单声道Mono、立体声Stereo或环绕声Surround Sound。频率内容Frequency Content音频信号包含的频率范围通常以赫兹Hz为单位。幅度Amplitude信号的强度或大小通常影响声音的响度。
2. 音频信号长什么样
我们送入计算机的肯定是数字音频信号了。那么如何读取一段音频并看看它是如何表示的呢
和图像领域用Opencv或PIL等库读取图片类似音频领域也有些专门的库可以读取/处理音频。
常用的库有soundfile、librosa等。下面我们使用soundfile读取一段音频并展示其波形图、频谱图
import soundfile
import resampy
import numpy as np
import matplotlib.pyplot as plt
from scipy.signal import stftif __name__ __main__:audio_path /data/datasets/Audios/Golf_sound/1_batting/batting_240725_36.MP3audio, sample_rate soundfile.read(audio_path)print(audio.shape)print(sample_rate)audio_mean np.mean(audio, 1)audio_resampled resampy.resample(audio_mean, sample_rate, 16000, filterkaiser_best)print(audio_resampled.shape)# 计算STFTfreqs, times, spectrogram stft(audio_resampled, sample_rate)# 绘制波形图plt.figure(figsize(10, 2))plt.title(Audio Waveform)plt.xlabel(Time (seconds))plt.ylabel(Amplitude)plt.plot(audio[:, :])# 绘制频谱图plt.figure(figsize(10, 4))plt.title(Audio Spectrogram)plt.xlabel(Time (seconds))plt.ylabel(Frequency (Hz))plt.imshow(np.abs(spectrogram), aspectauto, originlower)plt.colorbar() 运行后会绘制两个图音频的波形图和STFT频谱图。 可以看到原始音频是多通道的示例音频是2通道不同可能会有不同通道数每个通道都可以看成是个一维的时序信号。
二、音频的深度学习分类基本流程
那么我们如何对音频信号进行分类呢在信号处理领域通常会将原始信号转换为更容易捕获特征的频域信号然后利用一些手工设计特征或者深度学习方法捕获的特征送入分类器然后得到各个类别的概率。
下面是一个从原始信号到最终类别概率的深度学习算法流程 相关的深度学习模型有CAMPPlus、ResNetSE、Res2Net等它们可以从频域特征提取更为高级的语义特征然后利用一个FC层分类得到各个类别的概率。
模型论文引自参考3
EcapaTdnnECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker VerificationPANNSPANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern RecognitionTDNNPrediction of speech intelligibility with DNN-based performance measuresRes2NetRes2Net: A New Multi-scale Backbone ArchitectureResNetSESqueeze-and-Excitation NetworksCAMPPlusCAM: A Fast and Efficient Network for Speaker Verification Using Context-Aware MaskingERes2NetAn Enhanced Res2Net with Local and Global Feature Fusion for Speaker Verification
参考
1. Librosa https://librosa.org/
2. python-soundfile — python-soundfile 0.11.0 documentation
3. https://github.com/yeyupiaoling/AudioClassification-Pytorch
