域名备案网站建设书模板百度统计登录

引言

今天带来论文Improving Language Understanding by Generative Pre-Training的笔记，它的中文题目为：通过生成式预训练改进语言理解。其实就是GPT的论文。

自然语言理解可以应用于大量NLP任务上，比如文本蕴含、问答、语义相似和文档分类。虽然无标签文本语料是丰富的，但是用于训练这些特定任务的有标签文本语料是匮乏的，使得区分性训练模型难以表现出足够的性能。

作者证明了通过在多样化的未标记文本语料库上对语言模型进行生成式预训练，然后在每个特定任务上进行微调，可以在这些任务上取得巨大的收益。作者在微调过程中利用了任务感知的输入转换，可以实现有效的迁移，同时对模型架构的改动要求最小。

总体介绍

尽管有时我们可以获得一些有标记数据，但现在无标记数据上进行预训练是可以得到很大的收益的。比如预训练的词嵌入可以提升很多NLP任务的表现。

然而，利用无标记文件中的更多信息除了单词级别外，存在两个主要调整。首先，目标尚未清楚哪种优化目标可以最有效地学习可用于迁移的文本表示。其次，关于如何最有效地将这些学习到的表示迁移到目标任务上，尚未达成共识。

在本篇论文中，作者为自然语言理解任务探索了一个半监督(semi-superevised)方式，具体地，使用一个无监督预训练和有监督微调组合的方式。目标是学习一种通用的表示方法，可以在各种任务中进行迁移而仅需要少量的适应。

采用一个两阶段的训练过程，其实就