网站建设和管理情况,临海网站制作,网红营销是什么意思,网站开发和软件开发哪个难打基础日常记录 CNN基础知识1. 感知机2. DNN 深度神经网络#xff08;全连接神经网络#xff09;DNN 与感知机的区别DNN特点#xff0c;全连接神经网络DNN前向传播和反向传播 3. CNN结构【提取特征分类】4. CNN应用于文本 RNN基础1. RNN的本质 词向量模型word2Vec1. 自然语言… 打基础日常记录 CNN基础知识1. 感知机2. DNN 深度神经网络全连接神经网络DNN 与感知机的区别DNN特点全连接神经网络DNN前向传播和反向传播 3. CNN结构【提取特征分类】4. CNN应用于文本 RNN基础1. RNN的本质 词向量模型word2Vec1. 自然语言处理需要解决的问题2. 如何解决上述问题3. 词向量是什么训练成词向量4. 神经网络做什么5. 模型如何去训练词向量6. 构建训练数据7. 浩大的语料库中 CNN基础知识
1. 感知机
单层感知机就是一个二分类器接收输入向量输出分类结果先进行线性加权再进行激活函数的非线性转换就相当于是一个小模型里面的权重w和b是模型的参数 参考1 参考2
2. DNN 深度神经网络全连接神经网络 DNN 与感知机的区别 DNN特点全连接神经网络 DNN前向传播和反向传播 3. CNN结构【提取特征分类】
3.1 CNN特有的卷积层 3.2 卷积层自带卷积核和relu激活函数 3.3 CNN特有的池化层池化层没有激活函数
4. CNN应用于文本 RNN基础
1. RNN的本质
常用在NLP中应为NLP是处理语句的语句之间有先后顺序RNN可以在预测中加入先后顺序的信息 –分割线– –分割线– –分割线– 词向量模型word2Vec
把单词转换成向量也就是一个一个的数值计算机知道这些数值的含义人类不需要理解
1. 自然语言处理需要解决的问题
单词之间应该有先后的顺序而不是用词频意思相近的单词在空间中的表示也应该相近
2. 如何解决上述问题
把单词变成向量计算两个向量之间的相似度解决问题2
3. 词向量是什么训练成词向量
词向量就是在规定的维度内通常是50-300维度把单词变成数值计算机可以认识
4. 神经网络做什么
输入两个单词预测第三个单词
5. 模型如何去训练词向量
先有一个词向量库随机初始化的Look up embedding, 从中查找到输入词的向量词向量输入到网络中预测下一个词向量是什么通过loss更新网络的权重参数以及词向量库 词训练数据库是任何正常说话的逻辑数据都可以当成训练数据
6. 构建训练数据 7. 浩大的语料库中
