二手交易平台的网站怎么做,做区块链网站需要注意哪些,wordpress设置在新页面打开空白,手机网站背景图尺寸声明#xff1a;文章是从本人公众号中复制而来#xff0c;因此#xff0c;想最新最快了解各类智能优化算法及其改进的朋友#xff0c;可关注我的公众号#xff1a;强盛机器学习#xff0c;不定期会有很多免费代码分享~
目录
原理简介
数据介绍
结果展示
全家桶代码目… 声明文章是从本人公众号中复制而来因此想最新最快了解各类智能优化算法及其改进的朋友可关注我的公众号强盛机器学习不定期会有很多免费代码分享~
目录
原理简介
数据介绍
结果展示
全家桶代码目录
代码获取 之前的一期推文中我们推出了Attention模型全家桶。将CNN/TCN/LSTM/BiGRU-Attention四种多变量回归模型打包到全家桶中方便大家选择最适合自己数据的模型。同时也给了将四种模型的预测结果放到一张图的代码。
今天我们对注意力全家桶进行更新将最新推出的BiTCN-Attention模型加入到全家桶中同时应后台小伙伴的要求我们在模型中加入了特征图可视化不仅能够帮助我们理解模型内部特征、方便诊断和调试模型更能吸引审稿人的注意力、增加文章的工作量
此份代码已直接加入到先前的全家桶中之前已经购买过全家桶的小伙伴可直接免费下载。也跟以前的形式一样直接Excel替换数据即可无需更改代码。
废话不多说接下来介绍下原理与效果图。
原理简介
TCN由具有相同输入和输出长度的扩张因果卷积层组成结合了CNN和RNN的优势。因果卷积的示意图如下图所示 然而传统的TCN只对输入序列进行正向卷积计算只提取正向数据特征忽略了反向中的隐含信息。在输入序列的每一层卷积之后扩张因子呈指数增长。经过几次卷积BiTCN获得了更大的接受域。BiTCN接受域的增加带来了梯度消失和收敛缓慢等问题。残差块的引入可以避免这些问题同时实现对序列的高效特征提取。剩余块如图3所示。因此采用双向时间卷积结构BiTCN来捕捉前后方向的隐藏特征以更好地获得序列的长时间依赖性BiTCN的网络结构如下图所示非常新颖 自注意力机制在传统注意力机制的基础上进行了进一步改良通过并行计算同时计算一句话中所有元素之间的相似性得分从而获取全局的信息而非单一上下文的信息这使得自注意力机制能够更全面地理解整个序列的语义并更好地捕捉元素之间的复杂关系其相关公式如下所示 式中Wq、Wk、Wv为线性变化矩阵Q、K、V分别为查询向量query、键向量key和值向量valuedk为查询向量和键向量的维度。最后将注意力权重和值向量进行加权求和得到自注意力机制的输出。
为了更清晰地展现网络结构与原理此处将程序中运行出的网络结构图放出方便大家直观感受此模型结构。 数据介绍
本期采用的数据是经典的回归预测数据集是为了方便大家替换自己的数据集各个变量采用特征1、特征2…表示无实际含义最后一列即为输出。 更换自己的数据时只需最后一列放想要预测的列其余列放特征即可特特征数量不限无需更改代码非常方便
结果展示
设置最大训练次数为200次初始学习率为0.01L2正则化系数为0.0001卷积核个数为64卷积核大小为5空间丢失因子为0.1残差块个数为1利用上文的回归预测数据集进行预测划分80%为训练集20%为测试集得到的结果如下所示
测试集预测效果图 训练集预测效果图 特征可视化图 误差直方图 预测误差图 四张线性拟合图 网络结构图 预测结果显示 可以看到BiTCN-Attention在该回归数据集上的预测精度还是不错的R2达到了0.9以上MAPE指标仅为0.05MAE、RMSE也仅为个位数如果再做几个对比模型那么文章不就蹭蹭发了吗~
以上结果展示中所有图片作者都已精心整理过代码都可以一键运行main直接出图不信的话可以看下面文件夹截图非常清晰明了 适用平台要求Matlab2023a版本及以上没有的文件夹里已免费提供安装包
全家桶代码目录
目前全家桶在之前4个模型以及1个画图程序的基础上又增加了一个共6个之后还会推出更多更新颖的模型
正如上文提到的如果你想快速发paper或者想要尝试到底哪个模型才最适合你的数据、精度最高或者需要很多对比模型衬托你的模型的优越性那么全家桶包含的这么多模型可以说完全符合你的需求 购买后如果以后推出其他注意力模型直接免费下载无需再次付费。
但如果你之后再买一旦推出新模型价格必然会上涨。因此需要创新的小伙伴请尽早下手。
代码获取
1.已将本文算法加入注意力全家桶中点击下方小卡片再后台回复关键字
注意力全家桶
2.如果实在只想要BiTCN-Attention单品的同学点击下方小卡片再后台回复关键字不区分大小写
BiTCNAttention
更多代码链接更多代码链接
