深圳网站推广策划,网站怎么做网络推广,做网站首页置顶多少钱,东莞人才网招聘官网使用 GPT-SoVITS 克隆声音#xff0c;很详细 一、前言二、下载三、启动四、克隆声音1、准备克隆音频2、分离人声伴奏3、音频分割4、语音降噪5、ASR工具6、语音文本校对标注工具7、训练模型8、微调训练9、推理 一、前言
最近对文本转语言很感兴趣#xff0c;但对直接在网站上… 使用 GPT-SoVITS 克隆声音很详细 一、前言二、下载三、启动四、克隆声音1、准备克隆音频2、分离人声伴奏3、音频分割4、语音降噪5、ASR工具6、语音文本校对标注工具7、训练模型8、微调训练9、推理 一、前言
最近对文本转语言很感兴趣但对直接在网站上生成的音频音色却不是很满意经过一番寻找发现了“GPT-SoVITS” 对想要的声音进行克隆。
二、下载
可以到这里下载 下载后解压即可
这里将其解压到如下目录 E:\software\gpt-sovits 三、启动
进入“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821”
双击“go-webui.bat”即可
会出现一个黑窗口 启动成功会打开浏览器跳转到这个页面 四、克隆声音
1、准备克隆音频
先准备好想要提起的声音这里以克隆芭芭拉的声音为例 可以到这里下载原音频
下载后将其放到某个文件夹中这里放到 F:\file\GptSovitsFile\sucai\芭芭拉 2、分离人声伴奏
回到“GPT-SoVITS”中点击开启“UVR5-WebUI” 稍等一会儿后会跳转到新的页面 选择模型一般选择“HP2_all_vocals”即可也可以阅读上方解释选择适合自己的模型
模型介绍
HP2_all vocals人声伴奏分离模型提取音频中所有人声部分和背景音部分。HP5_only_main_vocal提取音频中的主唱人声排除和声和伴唱适合处理歌曲。model_bs_roformer_ep_317_sdr_12.9755去掉混音中的干扰成分增强信噪比。onnx_dereverb_By_FoxJoy去混响模型减少音频中由于环境回声或混响造成的声音模糊。VR-DeEchoAggressive去回声模型针对严重的回声进行处理偏向“激进处理”。VR-DeEchoDeReverb结合去回声和去混响的双重功能处理音频中的回声和混响问题。VR-DeEchoNormal去回声模型适用于一般程度的回声处理偏向“温和处理”。接着输入存放待分离音频路径前面已经提到将其放到 F:\file\GptSovitsFile\sucai\芭芭拉 指定输出主人声文件夹和指定输出非主人声文件夹保持默认即可 分类之后会保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt” 再选择导出文件格式这里选择 wav 最后点击转换 看到成功的信息表示转换完成 再查看输出目录 uvr5_opt 两条音频都试听一下找出人声音频因为要克隆声音伴奏音频没用这里将其删除了 这时就可以回到主界面关闭“UVR5-WebUI” 3、音频分割
这里主要针对长音频如果音频本来就不长就不需要分割了
回到这界面已知上面分离的音频保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt”路径
这里路径为 E:\software\gpt-sovits\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt 将文件夹路径放到切分输入路径 点击开启语言切割 看到输出信息显示“切割结束”表示切割完成 4、语音降噪
主要是处理有杂音的音频如果音频干净可不降噪直接点击“开启语言降噪即可” 看到降噪输出信息提示降噪完成即可 完成后可在“output”下生成“denoise_opt”文件夹 里面就是降噪的音频 原来的音频就干净降噪后对比原音频只是小声了点
5、ASR工具
这一步主要是生成带时间戳的文本如果需要的是中文默认即可。
点击“开启离线批量ASR” 看到输出提示完成即可 生成文件在“asr_opt”文件夹 文件内容如下 6、语音文本校对标注工具
这一步主要是校对文本 ASR 工具生成的文本是否正确对错误的文本进行修改。
保持默认点击“开启打标WebUI”即可 会跳转到一个新的页面 因为音频比较短这里只有一段文本如果音频较长这里是有多段文本的
检查文本框中的文本是否正确不正确则进行修改为了防止出错建议修改一段点一下“Submit Text” 这里原文本为 你喜欢麻辣小鱼干吗我这还有两条那给你一条。 将其改为 你喜欢麻辣小鱼干吗我这还有两条呐~给你一条。 确认无误之后回到主界面点击“关闭打标WebUI” 7、训练模型
承接上面将主界面拉到最顶部选择“1-GPT-SoVITS-TTS” 为你的模型取一个名字这里取名“bbl” 其他不用修改拉到最下面点击“开启一键三连” 看到结束的提示即可 这一步是把你的声音样本转换成项目训练模型支持的特定格式会在日志文件夹“logs”下生成以前面模型命名的文件夹bbl 里面文件如下 8、微调训练
承接上面的主界面网上拉到命名模型那一部分点击“1B-微调训练” 参数默认即可先“开启SoVITS” 等待训练完成 因为本次使用的是“v2”版本的“GPT-SoVITS”生成的模型保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\SoVITS_weights_v2” 模型如下 为什么是两个模型总训练轮数/保存频率
接着点击“开启GPT训练” 等待训练完成 因为本次使用的是“v2”版本的“GPT-SoVITS”生成的模型保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\GPT_weights_v2” 模型如下 同样三个模型是因为总训练轮数/保存频率
9、推理
承接上面的主页面将其往上拉到命名模型下方点击“1C-推理” 选择GPT、SoVITS模型如果没有看到就点击一下“刷新模型路径” 选择参数最大的模型效果最好 勾选“启用并推理版本”再点击“开启TTS推理WebUI” 会跳转到一个新页面 这是模型区如果在主界面忘记选可以在这里选一般选择参数最大的效果最好 这是推理区可以将前面处理好的音频拖入比如前面降噪后的音频 再加上音频台词就是对应音频的台词 你喜欢麻辣小鱼干吗我这还有两条呐~给你一条。 最后在右边添加需要生成音频的文本这里是 从来生死都看淡 推理设置保持默认即可点击“合成语音”就会生成对应音频 最后是文本切分区如果文本很长可以先放到左边点击切分切分方式保持默认再将右边切分好的文本放到文本生成音频区域
