阿里云 iis 多个网站,南京网,好公司的网站设计,微网站建设开发本文所涉及所有资源均在 传知代码平台 可获取。 目录 3D神经元注意力#xff1a;为每一个神经元分配权重#xff01;#xff08;算法#xff09; 一、概述 二、研究背景 三、主要贡献 四、模型结构和代码 五、数据集介绍 六、性能展示 六、复现过程 七、运行过程 SimAM总结… 本文所涉及所有资源均在 传知代码平台 可获取。 目录 3D神经元注意力为每一个神经元分配权重算法 一、概述 二、研究背景 三、主要贡献 四、模型结构和代码 五、数据集介绍 六、性能展示 六、复现过程 七、运行过程 SimAM总结 SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks 研究背景 SimAM的主要内容 应用场景 研究的影响与贡献 3D神经元注意力为每一个神经元分配权重算法 本文提出了一种概念简单但非常有效的卷积神经网络注意模型。与现有的基于通道和空间的注意力模型相比该模型在不增加参数的情况下为一个层中的特征映射推断3D注意力权重.具体地说作者基于一些著名的神经科学理论提出了优化能量函数来确定每个神经元的重要性。之后进一步推导了能量函数的快速闭式解并表明该解可以在不到10行的代码中实现。该模块的另一个优点是大多数算子是基于对所定义的能量函数的解来选择的从而避免了太多的结构调整工作。对多种视觉任务的定量评价表明该模型灵活有效地提高了多个ConvNets的表示能力. 此外我将该算法应用到了多模态情感计算和抑郁症检测任务中利用该算法为每个单模态神经元生成一个3D权重并提升后续inter-modal间的交互效率 同时由于现如今大多数的情感计算数据集都是基于英文语言开发的我还加入了中文多模态情感计算数据集SIMS, SIMSv2应用在模型中以开发适用于国人的情感计算分析模型并应用在情感疾病如抑郁症、自闭症检测任务为医学心理学等领域提供帮助。 【注】 我们文章中所用到的数据集都经过重新特征提取形成新的数据集特征文件.pkl另外该抑郁症数据集因为涉及患者隐私需要向数据集原创者申请申请和下载链接都放在了我们附件中的 readme文件中感兴趣的小伙伴可以进行下载谢谢支持 一、概述 这篇文章我讲解并复现了一篇经典有效的注意力算法 – SimAM并将他应用在多模态情感计算和抑郁症检测任务中此外它还可以应用在多种任务中比如计算机视觉NLP等等 原创部分为将该算法应用在了情感计算和抑郁症数据集以实现抑郁症检测任务以及在图像分类COCOCIFAR10SIMS数据集和SIMV2多种数据集上进行实验。 二、研究背景 卷积神经网络ConvNets在大规模数据集例如ImageNet大大提升了许多视觉任务的性能例如图像分类、目标检测和视频理解。多项研究表明一个更好的ConvNet结构可以显著提高在各种问题上的性能。因此构建一个强的ConvNet是视觉研究中的一个重要任务。现代的ConvNet通常有多个阶段每个阶段都由几个块组成。这种块是由卷积、池化、激活等操作符或某种定制的元结构本文称之为模块构成的。最近许多工作集中在构建高级块以提高ConvNets的表示能力。叠加卷积、残差单元和密集连接是最具代表性的已经广泛应用于现有架构中。然而设计这些模块需要丰富的专业知识和大量的时间。然而现有的注意力模块存在两个问题。首先它们只能沿通道或空间维度沿着细化特征限制了它们学习跨通道和空间变化的注意力权重的灵活性。其次它们的结构是由一系列复杂的因素构成的例如池的选择。 三、主要贡献 受人脑注意机制的启发本文提出了一个具有全三维权重的注意模型并设计了一个能量函数来计算权重导出能量函数的封闭形式的解其加速了权重计算并且允许整个模块的轻量形式将提出的模块集成到一些著名的网络中并在各种任务上对它们进行评估。我们的模块在精度、模型大小和速度方面与其他流行模块相比表现良好。 四、模型结构和代码 为了成功地实现注意力我们需要估计单个神经元的重要性。如何根据层中的特征图计算单个神经元的重要性在视觉神经科学中信息量最大的神经元通常是那些与周围神经元表现出不同放电模式的神经元。此外活跃的神经元还可以抑制周围神经元的活动这种现象被称为空间抑制。换句话说显示清楚的空间抑制效应的神经元应当被给予更高的优先级即重要性。找到这些神经元的最简单的实现是测量一个目标神经元和其他神经元之间的线性可分性。基于这些神经科学的发现我们为每个神经元定义了以下能量函数 2 分别是在该通道中所有神经元除了目标神经元tt上的均值和方差。由于公式(3)和公式(4)的现有解是在单个通道上获得的因此可以合理地假设单个通道中的所有像素都遵循相同的分布。基于这一假设均值和方差可以在所有神经元上计算并在该通道的所有神经元上重复使用。这样可以显著减少计算成本避免为每个位置重复计算μμ 和 σσ。最终的最小能量可以通过以下公式计算 公式 (5) 表明能量 et∗et∗ 越低神经元 tt 就越能从周围的神经元中脱颖而出对于视觉处理而言也更为重要。因此每个神经元的重要性可以通过 1/et∗1/et∗ 来表示。与我们的方法类似研究了一个用于语义部分匹配的类似函数但他们的方法需要计算一个大的协方差矩阵这不适合用于深度神经网络。与不同的是我们操作单个神经元并将这种线性可分性集成到一个端到端框架中。此外我们还从神经科学的角度提供了全面的理解。 截至目前我们已经推导出一个能量函数并找出了每个神经元的重要性。根据 (Hillyard et al., 1998) 的研究哺乳动物大脑中的注意力调节通常表现为对神经元反应的增益即缩放效应。因此我们采用缩放操作而非加法来进行特征精炼。我们模块的整个精炼阶段为 其中 EE 将所有通道和空间维度上的 et∗et∗ 进行汇总。为了限制 EE 中过大的值使用了 sigmoid 函数。由于 sigmoid 函数是单调函数这不会影响每个神经元的相对重要性。 五、数据集介绍 1. 计算机视觉数据集 COCO COCO 数据集是一个广泛用于计算机视觉任务的大型数据集特别是物体检测、分割和图像标注。其中包含超过 20 万张图像包含 80 个对象类别提供了详细的标注信息包括物体的边界框、分割掩膜、关键点如人体姿态估计以及图像的描述性文字CIFAR CIFAR 数据集由加拿大高级研究院CIFAR提供主要用于图像分类任务。它包含了不同场景和对象的小尺寸图像广泛用于机器学习和深度学习算法的基准测试。CIFAR-10 包含 60,000 张图像其中 50,000 张用于训练10,000 张用于测试。CIFAR-100 包含 60,000 张图像其中 50,000 张用于训练10,000 张用于测试。CIFAR-10: 10 个类别飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船、卡车。 CIFAR-100: 100 个类别从 CIFAR-10 中的类别扩展涵盖更广泛的对象和场景。2. 多模态情感计算数据集 CMU-MOSI: CMU-MOSI数据集是MSA研究中流行的基准数据集。该数据集是YouTube独白的集合演讲者在其中表达他们对电影等主题的看法。MOSI共有93个视频跨越89个远距离扬声器包含2198个主观话语视频片段。这些话语被手动注释为[-33]之间的连续意见评分其中-3/3表示强烈的消极/积极情绪。CMU-MOSEI: CMU-MOSEI数据集是对MOSI的改进具有更多的话语数量样本扬声器和主题的更大多样性。该数据集包含23453个带注释的视频片段话语来自5000个视频1000个不同的扬声器和250个不同的主题SIMS/SIMSV2: CH-SIMS数据集[35]是一个中文多模态情感分析数据集为每种模态提供了详细的标注。该数据集包括2281个精选视频片段这些片段来自各种电影、电视剧和综艺节目每个样本都被赋予了情感分数范围从-1极度负面到1极度正面 3. 多模态抑郁检测数据集 AVEC2019: AVEC2019 DDS数据集是从患者临床访谈的视听记录中获得的。访谈由虚拟代理进行以排除人为干扰。与上述两个数据集不同的是AVEC2019中的每种模态都提供了几种不同的特征。例如声学模态包括MFCC、eGeMaps以及由VGG和DenseNet提取的深度特征。在之前的研究中发现MFCC和AU姿势分别是声学和视觉模态中两个最具鉴别力的特征。因此为了简单和高效的目的我们只使用MFCC和AU姿势特征来检测抑郁症。数据集用区间[024]内的PHQ-8评分进行注释PHQ-8评分越大抑郁倾向越严重。该基准数据集中有163个训练样本、56个验证样本和56个测试样本。 六、性能展示 在情感计算任务中可以看到加入 SimAM 算法后性能有了明显提升证明了其有效性 抑郁症检测任务以下是 加入SimAM 算法后在抑郁症数据集AVEC2019中的表现 Model CCC MAE Baseline 0.111 6.37 EF 0.34 – Bert-CNN Gated-CNN 0.403 6.11 Temporal Dilated CNN 0.430 4.39 SimAM 0.458 4.07 六、复现过程 在下载附件并准备好数据集并调试代码后进行下面的步骤附件已经调通并修改可直接正常运行 1. 数据集准备 下载附件中多种数据集已提取好的特征文件。把它放在./dataset”目录。2. 下载预训练语言模型 下载附件中SentiLARE语言模型文件然后将它们放入/pretrained-model / sentilare_model”目录。3. 下载需要的包 pip install -r requirements.txt 4. 进行训练 $ python train.py 七、运行过程 训练过程 最终结果 SimAM总结 SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks 研究背景 近年来注意力机制在深度学习中尤其是在卷积神经网络CNN中的应用取得了显著进展。传统的注意力模块如SESqueeze-and-Excitation模块和CBAMConvolutional Block Attention Module通过调整不同通道和空间位置的权重来增强CNN的特征表达能力。然而这些方法通常依赖于复杂的结构设计和大量的参数这在某些情况下会增加模型的计算成本并且在实际应用中可能会受限。 SimAM的主要内容 SimAMSimple Attention Module 是一种新型的注意力机制旨在通过简化注意力模块的结构来减少计算复杂度同时保持高效的特征增强能力。SimAM的核心特点包括 参数无关SimAM模块不引入任何额外的可训练参数。这意味着在模型的训练和推理过程中SimAM不会增加计算成本或内存占用。基于神经科学的动机SimAM的设计灵感来自于神经科学尤其是对单个神经元行为的模拟。它通过计算每个神经元在特征图中的“响应强度”来确定该位置的重要性。响应强度的计算基于输入特征的均方误差MSE模拟了神经元对输入刺激的响应。简单的实现SimAM通过简单的数学运算如均方误差和Sigmoid函数来计算注意力分数这使得它易于实现并且能够与现有的CNN架构无缝集成。增强特征表示SimAM能够有效地增强重要的特征表示从而提高模型在图像分类、目标检测等任务中的表现。 应用场景 图像分类SimAM可以应用于各种图像分类任务通过增强特征表示提升CNN模型的分类准确性。目标检测在目标检测任务中SimAM能够突出目标区域的特征从而提高检测模型的精度和鲁棒性。语义分割SimAM有助于在语义分割任务中增强重要区域的特征表示提高分割的精度。轻量级模型由于SimAM不引入额外的参数因此非常适合在移动设备或嵌入式系统中部署轻量级的深度学习模型。 研究的影响与贡献 SimAM的提出为注意力机制的设计提供了一个新思路即通过简化模型结构和减少参数数量来提高效率同时保持甚至提升性能。这种方法在一些计算资源有限的应用场景中具有重要的应用价值也为未来的注意力机制研究提供了启发。 感觉不错点击我立即使用
