设计高端网站哪家好,烟台建设工程信息网站,郑州定制网站建设,wordpress 怎么上传头像引言
今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。
本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correcti…引言
今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。
本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correction,Mac)的掩码策略。
通过实验表明MacBERT在很多NLP任务中能取得SOTA结果。
总体介绍
BERT已经变成NLP领域的新的基础组件。从BERT开始，人们在优化预训练语言模型方面取得了巨大而迅速的进展。比如ERINE1、XLNet2、RoBERTa3、SpanBERT4、ALBERT5、ELECTRA6等。
然而相比我们过去训练词嵌入或其他传统的神经网络，训练基于Transformer的模型没那么容易。比如，训练一个BERT-large，它有330M参数包含24层Transformer，训练起来非常昂贵。虽然很多预训练语言模的变种被提
