网站建设找 三尾狐,wordpress设置摘要还是显示全文,wordpress single.php,工业和信息化部投诉平台入口backbone#xff1a;翻译为主干网络的意思#xff0c;既然说是主干网络#xff0c;就代表其是网络的一部分#xff0c;那么是哪部分呢#xff1f;这个主干网络大多时候指的是提取特征的网络#xff0c;其作用就是提取图片中的信息#xff0c;共后面的网络使用。这些网络…backbone翻译为主干网络的意思既然说是主干网络就代表其是网络的一部分那么是哪部分呢这个主干网络大多时候指的是提取特征的网络其作用就是提取图片中的信息共后面的网络使用。这些网络经常使用的是resnet、VGG等而不是我们自己设计的网络因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候都是直接加载官方已经训练好的模型参数后面接着我们自己的网络。让网络的这两个部分同时进行训练因为加载的backbone模型已经具有提取特征的能力了在我们的训练过程中会对他进行微调使得其更适合于我们自己的任务。
headhead是获取网络输出内容的网络利用之前提取的特征head利用这些特征做出预测。
neck:是放在backbone和head之间的是为了更好的利用backbone提取的特征。
bottleneck:瓶颈的意思通常指的是网网络输入的数据维度和输出的维度不同输出的维度比输入的小了许多就像脖子一样变细了。经常设置的参数 bottle_num256指的是网络输出的数据的维度是256 可是输入进来的可能是1024维度的。
GAP在设计的网络中经常能够看到gap这个层我之前不知道是干啥的后了解了就是Global Average Pool全局平均池化就是将某个通道的特征取平均值经常使用AdaptativeAvgpoold(1),在pytorch中这个代表自适应性全局平均池化说人话就是将某个通道的特征取平均值。
self.gap nn.AdaptiveAvgPool2d(1)Embedding: 深度学习方法都是利用使用线性和非线性转换对复杂的数据进行自动特征抽取并将特征表示为“向量”vector这一过程一般也称为“嵌入”embedding
ground truth:翻译的意思是地面实况放到机器学习里面再抽象点可以把它理解为真值、真实的有效值或者是标准的答案。训练集对监督学习技术的分类的准确性。这在统计模型中被用来证明或否定研究假设。“ground truth”这个术语指的是为这个测试收集适当的目标可证明的数据的过程。
pretext task和downstream task用于预训练的任务被称为前置/代理任务(pretext task)用于微调的任务被称为下游任务(downstream task)
temperature parameters 在论文中经常能看到这个温度参数的身影那么他都有什么用处呢比如经常看到下面这样的式子 里面的beta就是temperature parameter他在运算的时候起到什么作用呢是这样的他可以起到平滑softmax输出结果的作用举例子如下
import torch
x torch.tensor([1.0,2.0,3.0])
y torch.softmax(x,0)
print(y)x1 x / 2 # beta 为2
y torch.softmax(x1,0)
print(y)x2 x/0.5 # beta 为0.5
y torch.softmax(x2,0)
print(y) 输出结果如下
tensor([0.0900, 0.2447, 0.6652])
tensor([0.1863, 0.3072, 0.5065])
tensor([0.0159, 0.1173, 0.8668]) 当beta1的时候可以将输出结果变得平滑当beta1的时候可以让输出结果变得差异更大一下更尖锐一些。如果beta比较大则分类的crossentropy损失会很大可以在不同的迭代次数里使用不同的beta数值有点类似于学习率的效果。
热身Warm up
Warm up指的是用一个小的学习率先训练几个epoch这是因为网络的参数是随机初始化的一开始就采用较大的学习率容易数值不稳定。
end to end
在论文中经常能遇到end to end这样的描述那么到底什么是端到端呢其实就是给了一个输入我们就给出一个输出不管其中的过程多么复杂但只要给了一个输入机会对应一个输出。比如分类问题你输入了一张图片肯呢个网络有特征提取全链接分类概率计算什么的但是跳出算法问题单从结果来看就是给了一张输入输出了一个预测结果。End-To-End的方案即输入一张图输出最终想要的结果算法细节和学习过程全部丢给了神经网络。
domain adaptation 和domain generalization 域适应和域泛化
域适应中常见的设置是源域D_S完全已知目标域D_T有或无标签。域适应方法试着将源域知识迁移到目标域。第二种场景可以视为domain generalization域泛化。这种更常见因为将模型应用到完全未知的领域正因为没有见过所以没有任何模型更新和微调。这种泛化问题就是一种开集问题由于所需预测类别较多所以比较头疼 。
