建设银行网站名称怎么写,网站注册页面模板,如何创建游戏网站,桦甸网站开发定制Word representation
One-hot形式
在上一周介绍RNN类模型时#xff0c;使用了One-hot向量来表示单词的方式。它的缺点是将每个单词视为独立的#xff0c;算法很难学习到单词之间的关系。
比如下面的例子#xff0c;即使语言模型已经知道orange juice是常用组合词#xf…Word representation
One-hot形式
在上一周介绍RNN类模型时使用了One-hot向量来表示单词的方式。它的缺点是将每个单词视为独立的算法很难学习到单词之间的关系。
比如下面的例子即使语言模型已经知道orange juice是常用组合词但是却不容易泛化到知道apple juice。这主要是因为单词之间的内积是0向量。 因此我们可以用非One-hot的多维向量描述一个单词单词之间的距离可以描述单词之间的相似度这样可以让算法更快的学习到单词之间的联系。
多维向量形式
使用多维向量向量每一维是一个浮点数这样可以使用更少维度的dense向量表征单词。
1. 可以使用迁移学习的思想预训练大量数据获取每个单词的embdding或者直接从网络找到其他人训练好的模型获取Embedding。
2. 获取到Embdding之后可以再应用到你的任务当中比如名字识别等模型这是你的训练集可能是比较小的。
3. 如果你的训练集很大也可以尝试fine-tune第一步中的预训练模型
单词之间的相似度
使用多维向量表征单词时可以使用cos距离或者L2距离等来表征单词之间的相似度
Learning Word Embddings
在NLP最开始的时候研究人员尝试用很复杂的模型来获取Word Embdding但是后来大家发现可以用越来越简单的模型来获取并且效果很好尤其是在大数据集下。该小节从复杂模型讲起然后逐步简化。
早期模型
每次取数据集中句子中待预测词前面的4(超参)个单词输入到模型中模型输出层是softmax输出每个单词的可能性。 Word2Vec 之 skip-grams
原始论文中作者提供了Word2Vec的两个版本skip-grams、CBow。
CBow是利用中间词周围的上下文预测中间词有优点有缺点不展开讲这里只介绍skip-grams。
定义
首先介绍什么是skip-gramsskip-grams需要提供一个context单词和一个target单词先选定context单词然后在其前后k(超参)个相邻单词的窗口内随机选取一个target单词组成一个pair 模型结构
输出层为词库大小个softmax分类单元 缺点
这个算法存在一些问题
1. softmax在词库很大时计算成本很高可以使用多层softmax降低计算量(后面的课程中有更优的解决方案这里没展开)建立多层softmax树时可以使用启发式算法优化(不展开)把常用词放在浅层低频词放在深层减少检索成本。
2. 如何选取context单词如果正态分布选取会导致抽取的都是高频词低频词很难被取出来也需要用启发式算法抽样(不展开)。 Negative Sampling
定义
负采样是对原始skip-grams的优化可以有效降低多类分类问题的计算量。
负采样是选取一个context单词然后从其前后一定窗口内选取一个临近的target单词作为正样本其标签是1然后用同样的context单词从词库随机选取k(超参)次target单词分别组成负样本其标签是0。
小概率会抽到实际也是context单词附近的单词因为是随机误差所以影响不大。 模型结构
跟skip-grams相比模型的输出层将词库大小个softmax单元替换为了词库大小个逻辑回归单元并且在每次迭代中只需要更新跟正负样本相关的k1个输入层的逻辑回归单元参数大幅降低计算量。 如何进行负样本选取
既不是随机采样也不是按照词频采样作者用了一个经验公式(无法证明是最好的但是现在都用的这个公式) GloVe
全称Global Vectors for word representation。使用不如Word2Vec广泛。
定义
首先统计词库中每两个单词在训练集中一起出现的次数然后输入context单词模型预测其跟target词出现次数并最小化两者之间的差值。
模型结构
在实际模型中增加了一个权重系数经验公式用于对低频词提权高频词降权。
和分别是单词的context向量和target向量分别为单词作为context单词时使用和作为target单词时使用训练完成后可以使用或作为最终的词向量。 偏置项存在的意义ChatGPT的解释如下 词向量的应用
Sentiment Classification
通过分析文本的情感表达来确定其情感倾向。在NLP中经常使用。
在有词向量的情况下你可以使用中等大小的标注训练集来进行情感分类而不需要大量标注数据集。
如下图可以将评价中的所有词向量相加或取平均作为输入预测分数但是这样存在一个问题无法理解上下文比如左下角例子good出现更多可能预测分较高但实际是差评 进一步使用RNN模型逐次输入每个单词词向量输出打分。 消除词向量偏见
以性别偏见为例计算he/she、male/female这些词向量的差并计算平均值找到性别差异向量然后对于不应该跟性别关联的词如医生、婴儿看护在这个方向上移动到0坐标然后对性别差异的反义词组在这个方向上移动为对称的。
