麻辣烫配方教授网站怎么做,app客户端网站建设方案,定制搭建网站,悦西安我可不向其他博主那样拖泥带水#xff0c;我有代码就直接贴在文章里#xff0c;或者放到gitee供你们参考下载#xff0c;虽然写的不咋滴#xff0c;废话少说#xff0c;上代码。
gitee码云地址#xff1a;
卢东艺/pytorch_cv_nlp - 码云 - 开源中国 (gitee.com)https:/…我可不向其他博主那样拖泥带水我有代码就直接贴在文章里或者放到gitee供你们参考下载虽然写的不咋滴废话少说上代码。
gitee码云地址
卢东艺/pytorch_cv_nlp - 码云 - 开源中国 (gitee.com)https://gitee.com/Ludongyi/pytorch_cv_nlp 一、情感分析
外卖评论好评坏评二分类 用线性模型来做比较简单就是个简单的二分类模型代码如下 用RNN模型来做可用RNN,GRU,LSTM模型对于这种简单二分类模型随便选一个都得后面复杂的模型才考虑其他。 由图可以看出训练20次损失值一直在下降然后开始震荡并逐渐收敛训练的准确率一直在上升当到达20次时训练的准确率达到97%进行模型测试测试准确率只有86%很明显的过拟合现象不用慌自己解决。 二、看图说话
Image Caption多模态任务根据图片生成描述文字 数据集
Flickr30k数据集是一个基于Flickr网站的数据集它包括了31000张图像和每张图像准确的5个人工标注语句。该数据集的图像类型
非常丰富从日常生活场景到复杂的社会场景都有涉及本文只使用5条标注语句的第一条作为计算损失函数的输入。 下载地址Flickr30k图像标注数据集下载及使用方法_flickr30k下载-CSDN博客 网络模型结构 编码器部分
vgg16的卷积模块进行提取特征
解码器部分 模型的训练结果如下
在英伟达P4000显卡的加持下每轮训练需要7分钟128批次, 21轮训练损失值才降到1 可见这个模型还是有些复杂的没有好的显卡的人可以去AutoDL算力云 租算力来跑。 测试案例 一只白色的狗一只狗站在他面前看着嘴里的棍子
从网上下载一张图片进行预测从预测的结果可以看出预测的描述有点错误分析原因可能是整个网络还不够复杂vgg16网络没有很好提取狗的嘴巴特征LSTM预测的词不是很好。额什么狗屁预测。
改进模型
增加注意力机制: 在LSTM中引入注意力机制使模型能够动态地关注图像中不同区域的信息从而改善生成描述的精度和连贯性......
避坑
建议训练和测试都放到一个程序里也就是训练完毕接着测试显示结果。我的代码是训练和测试分开的是不同的进程。然后我发现每次运行词典都不一样每次都会有不一样的id和乱序这会造成一个问题训练一半保存参数下次加载模型参数重新训练时导致损失值很高而难以下降因为词典的序号都变了上次训练的参数语义信息不适用当前。还有如果你训练和测试都效果不错过几天后发现预测效果很差可能是一不小心运行数据处理部分生成了新的词典了。所以需要保存词典而且只保存一次下次加载处理接着用该词典固定住词典。
在词典里没有的词模型是预测不出来的所以如果发现模型预测的效果差可能是词典里的单词少了可以到网上找常用的英语单词5万个搞成一个大的词典 .pkl格式保存起来方便自然语言处理的学习使用。
统计正确率 生成的文本与目标的文本如何才能判断是预测对的太难判断了。就算计算两个文本的相似度相似度大于0.5正确小于则错误但是以上面的图片为例子目标文本是两只小狗亲嘴如果生成了草地的预测文本相似度为0 但是你能说它预测不正确吗草地也属于图片的潜在描述之一。
所以这里不统计正确率。
深度学习之Image captioning的评分指标篇BLEU、CIDEr_bleu和cider-CSDN博客
python中计算BLEU分数_python 计算blue分数-CSDN博客
创新点
1.动态调参技术
训练模型时参数是固定的也就是一旦运行代码就只能看着输出的结果而不能手动改变里面的参数如果在训练时发现损失值已经震荡收敛了还继续训练这就造成资源的浪费所以这就要人为的进行控制调参使程序能正常运行又不浪费资源。
本模型采用tkinter库进行GUI调参控制模型的训练次数和学习率。
界面如图所示 开一个线程运行调参窗口里面设置模型需要改变的重要参数。如学习率初始值为0.003训练次数初始值为30。训练过程观测损失值的变化如果损失值的改变量变小了就把学习率调小为0.001甚至更小 如果损失值开始震荡收敛就把训练次数改为当前轮的值使训练完当前轮后就自然退出模型的训练进行测试如果训练了30次后损失值还有下降的趋势就增大训练次数。
虽然GUI调参很方便但多开一个线程也耗费了一定的资源而且这方法只适合有模型训练经验的人有经验的调参大师。
2.训练过程提醒技术
有时候模型训练的时间需要很久训练模型的人应该不会一直看着模型的训练过程这时候需要需要一项提醒技术每训练完一轮或者全部训练完毕可以提醒训练者。
WxPusher微信消息推送服务介绍WxPusher (微信推送服务)是一个使用微信公众号作为通道的实时信息推送平台你可以通过调用API的方式把信息推送到微信上无需安装额外的软件即可做到信息实时通知。 你可以使用WxPusher来做服务器报警通知、抢课通知、抢票通知信息更新提示等。 WxPusher微信推送服务 用户收到消息后微信会响通知铃声用户进入微信查看具体消息文字。 参考shenxiaohai.me/pytorch-tutorial-advanced-04/
三、经验分享
数据处理类 继承 Dataset类然后要写 def __len__() 和 def __getitem__(item)这两个特殊函数。def __len__()函数返回的是处理数据的大小可以把它看成是循环调用def __getitem__(item)函数的次数比如返回的是10就调用10次__getitem__函数__getitem__处理并返回了10个数据。
设计模型时先训练一批次的数据 (Dataset类里def __len__()返回batch_size大小把模型设计好后保证能正常运行出结果再用全部数据。
策略写代码时__len__()函数返回的大小分别采用一批次一半全部。
假如你一下子处理了全部数据开始设计模型运行处理数据跑了一分钟模型报了一个错你修改模型代码跑了一分钟又报了一个错又修改......等你能正确运行代码浪费了很多时间。而刚开始就只处理一批数据一下子就能出结果。所以我写代码刚开始只用一批次是验证代码能不能正常运行。
代码能正常运行了我就把数据量增大到一半用来验证模型的损失值和正确率是否正常是否出现过拟合现象模型是否需要改进......没问题后我就处理完全部数据继续增大训练再观察效果最后完工。
嫌数据集数量多先不着急删除万一突然想要用到先只处理一部分数据训练看看效果最后再决定删不删除。
要加检测损失值连续2次震荡就停止训练记得每隔几次保存一次模型参数不然中途退出就白干。
训练集和验证集都计算损失值和准确率观测数据之间的变化。 其他的经验自己多跑模型就能总结出来跳过很多坑的过来人默默留下了眼泪手动狗头 未完待续......
