桂林有名网站制作公司,胶州哪家公司做网站,重庆网站推广软件,软件开发工程师介绍1 基本介绍
监督学习问题中#xff0c;存在标记成本昂贵且难以大量获取的问题。 针对一些特定任务#xff0c;只有行业专家才能为样本做上准确标记。在此问题背景下#xff0c;主动学习#xff08;Active Learning, AL#xff09;尝试通过选择性地标记较少数据而训练出表…1 基本介绍
监督学习问题中存在标记成本昂贵且难以大量获取的问题。 针对一些特定任务只有行业专家才能为样本做上准确标记。在此问题背景下主动学习Active Learning, AL尝试通过选择性地标记较少数据而训练出表现较好的模型。 主动学习最重要的假设是不同样本对于特定任务的重要程度不同所以带来的表现提升也不全相同。 选取较为重要的样本可以使当前模型以较少的标记样本数得到较好的表现在这一过程中主动学习的本质是对样本的重要性/信息度/期望带来的表现等等进行评估模型会从数据集中主动选择一些不带标签的数据交互式地向专家oracle请求标注这个过程叫做query。在每一次标注之后模型重新或者增量地在带标签的数据上训练然后再主动地选择不带标签数据进行标注重复这个过程。
1.1 从不同角度理解主动学习
从问题的角度通过以某种主动策略构建较小训练集来减少标记成本的机器学习方式从策略的角度以某种方式对未标记样本重要性的评估从训练的角度一种交互式的标记、训练、评估流程
2 主动学习基本的问题场景
Pool-based scenario 此类场景通常提供一个未标记的数据池主动学习策略在数据池中选取相应样本进行标记Stream-based scenario 此类场景中数据以数据流的形式输入主动学习策略需要确定对当前数据进行标记还是直接用现有模型预测Query synthesis scenario 此类场景较为少见一个未标记的数据池通常也被提供但是主动学习策略并不是在数据池中挑选样本进行查询而是自行生成新样本进行查询常见的是利用各种生成模型比如VAE/GAN来生成样本 这个其实有一个通病生成的样本固然是很有信息量但是有时候专家也可能无法标注 3 主动学习对样本的评估方法
基于 Pool-based Scenario Classification
选取的样本进行manual label
Informativeness 模型对选取样本取值的不确信程度【最不会的东西提供相应的label】只用这一个指标的话通常会忽略数据分布的影像Representativeness-impart 选取样本是否可以对数据分布起到代表作用【最有代表性的东西提供相应的label】Expected Improvements 选取样本能为当前模型带来多少性能提升Learn to score 不人为启发式地设计选取策略而是学习一个选取策略
参考内容
主动学习Active Learning看这一篇就够了 - 知乎 (zhihu.com)
通俗理解主动学习 - 知乎 (zhihu.com)
