网站小程序定制公司,wordpress好处,windows优化大师收费,asp网站制作免费模板下载迁移学习#xff1a;给定一个有标记的源域和一个无标记的目标域。这两个领域的数据分布不同。迁移学习的目的就是要借助源域的知识#xff0c;来学习目标域的知识(标签)。或是指基于源域数据和目标域数据、源任务和目标任务之间的相似性#xff0c;利用在源领域中学习到的知…迁移学习给定一个有标记的源域和一个无标记的目标域。这两个领域的数据分布不同。迁移学习的目的就是要借助源域的知识来学习目标域的知识(标签)。或是指基于源域数据和目标域数据、源任务和目标任务之间的相似性利用在源领域中学习到的知识去解决目标领域任务的一种机器学习方法。
Transfer learning的优势在于节省人工标注样本的时间让模型可以通过已有的标记数据source domain data向未标记数据target domain data迁移。从而训练出适用于target domain的模型适合于样本不足的情况。在样本不足的情况下使用迁移学习可以将这些通用特征学习从其他已经训练好的网络中迁移过来从而节省训练时间并且得到较好的识别结果。
一.基本概念
1.领域进行学习的主题。由数据和生成这些数据的概率分布组成。
领域是由两个基本领域组成源领域和目标领域。
源领域有知识、有大量数据标注的领域是我们要迁移的对象
目标领域是最终要赋予知识、赋予标注的对象
迁移就是从源领域向目标领域进行知识映射
2.任务学习目标。由标签和标签对应的函数组成。
二.分类 迁移学习按学习方法分类可以分为四个大类基于样本的迁移学习方法、基于特征的迁移学习方法、基于模型的迁移学习方法、基于关系的迁移学习方法。
基于样本的迁移学习方法基于实例的迁移学习方法适用于源域和目标域相似度较高的情况。主要思想是通过改变样本的存在形式来减少源域和目标域的差异。
基于特征的迁移学习基于特征的迁移学习算法可应用在域间相似度不太高的甚至不相似的情况。主要思想是通过特征变换将源于和目标域在某个特征空间下表现出相似的性质。
基于参数的迁移学习基于参数的迁移学习方法从模型的角度出发共享源域模型与目标域模型之间的某些参数达到迁移学习的效果。
这个主要就是在神经网络里面用的特别多因为神经网络的结构可以直接进行迁移。比如说神经网络最经典的finetune就是模型参数迁移的很好的体现。
Finetune也叫微调、finetuning是深度学习中的一个重要概念。简而言之finetune就是利用别人已经训练好的网络针对自己的任务再进行调整。
Finetune的优势不需要针对新任务从头开始训练网络节省了时间成本预训练好的模型通常都是在大数据集上进行的无形中扩充了我们的训练数据使得模型更鲁棒、泛化能力更好Finetune实现简单使得我们只关注自己的任务即可。在实际应用中通常几乎没有人会针对自己的新任务从头开始训练一个神经网络。Finetune是一个理想的选择。
基于关系的迁移学习基于关系的迁移学习是通过将两个域之间的相关性知识建立一个映射来达到迁移学习的效果。
推荐资源https://github.com/jindongwang/transferlearning
