南宁企业网站排名优化,网站后台传不了图片,发布新闻稿,网站做管理员消息推送✨✨ 欢迎大家来访Srlua的博文#xff08;づ#xffe3;3#xffe3;#xff09;づ╭❤#xff5e;✨✨ #x1f31f;#x1f31f; 欢迎各位亲爱的读者#xff0c;感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢#xff0c;在这里我会分享我的知识和经验。づ3づ╭❤✨✨ 欢迎各位亲爱的读者感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢在这里我会分享我的知识和经验。 希望在这里我们能一起探索IT世界的奥妙提升我们的技能。 记得先点赞后阅读哦~ 所属专栏传知代码论文复现 欢迎访问我的主页Srlua小谢 获取更多信息和资源。✨✨ 目录
概述
核心逻辑
论文工作阐述
本文优化点
实体向量嵌入方式的优化
实体识别层模型的优化
相关学习率调整算法
演示效果
使用方式
环境配置
运行训练
执行测试 本文所有资源均可在该地址处获取。
概述
实体关系抽取是自然语言处理领域的一个常见任务它常常和实体识别任务伴生他们都属于图谱三元组的提取任务。实体识别任务提取出实体实体关系抽取任务则是负责判断两个实体之间的关系。 例如 在句子Albert Einstein was born in Ulm中实体识别任务会识别出Albert Einstein和Ulm两个实体而实体关系抽取任务则会判断这两个实体之间的关系是“出生地”place of birth。 核心逻辑
本文对于实体关系抽取任务的实现基于论文Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification并做出一定的优化。
论文工作阐述
论文中的实体识别模型采用了BERT、BILSTM和注意力机制的结合结构。具体来说BERT提供了强大的文本表示能力能够生成丰富的上下文感知词向量。通过预训练的BERT模型输入的文本可以被转化为高质量的向量表示捕捉到词语的语义和句法信息。
在BERT生成的词向量基础上加入了BILSTM层。BILSTM是LSTM长短期记忆网络的双向版本它能够同时考虑前向和后向的上下文信息进一步增强了对句子结构的理解能力。BILSTM的引入使得模型能够更好地捕捉到句子中每个词语的前后依赖关系从而提升对复杂语言现象的建模能力。
为了进一步提高模型的性能还加入了注意力机制。注意力机制通过赋予不同词语不同的权重帮助模型集中关注对实体识别任务至关重要的词语和特征。这种机制能够动态地调整每个词语的权重使得模型在处理长文本时仍然能够高效地捕捉到关键的信息。 本文优化点
实体向量嵌入方式的优化
对于实体关系抽取任务一般而言输入包含需要判断的句子和两个实体常见的嵌入方式是计算两个实体在句子中的位置向量来标注实体。然而仅仅根据两个词来进行关系识别可能导致模型很难深入理解句意难以理解隐藏在句子中的实体关系。
依存解析器通过Stanford CoreNLP的依存解析算法对输入句子进行依存关系分析。依存关系解析将句子看作一个图词语作为节点词语之间的依存关系则作为节点之间的连接关系。
在解析器的基础上生成依存矩阵。该矩阵表示句子中词语之间的依存关系。矩阵的每个元素对应于句子中两个词语之间的依存连接强度或类型。
将生成的依存矩阵结合到输入的句子中使用图神经网络Graph Neural Networks, GNNs对句子进行处理。GNNs能够有效地利用依存关系信息优化实体向量的嵌入方式。通过将句子建模为一个图GNNs可以在节点词语之间传播信息从而捕捉到更丰富的语义和上下文特征。 这种方法显著优化了实体向量的嵌入方式使得模型不仅能够关注两个实体本身还能够充分理解它们在句子中的上下文和依存关系。这种深层次的语义理解能够大幅提高实体关系抽取任务的准确性和鲁棒性。 下面的代码展示了修改后的嵌入模型模型先经过BERT编码然后结合依存矩阵输入到图神经网络中得到可用来训练的向量
def forward(self, sentence,label1,label2):# Step 1: BERT Encoding bert_outputs self.encode_sentence(sentence)print(len(bert_outputs[0]))bert_outputs_label1,bert_outputs_label2 self.encode_sentence_and_label(sentence,label1,label2)# Step 2: Dependency Parsingdependency_matrix self.word_parse_dependency(sentence,len(bert_outputs[0]))# Step 3: GAT Encodingbert_outputs bert_outputs[0] # .numpy()x self.gat(bert_outputs, adj_matrix_tensor)output_ids torch.cat((bert_outputs_label1[0], x,bert_outputs_label2[0]), dim1)return output_ids 实体识别层模型的优化
在论文的基础上将注意力层优化成为池化注意力机制层另外根据两个实体在句子的位置将句子划分为五个部分分别进行池化操作让模型学习实体在句子中的相关特征。 例如池化操作可以采用最大池化或平均池化的方法聚合注意力权重从而增强模型对重要特征的识别能力。
预处理代码如下根据两个实体在句子的位置将句子划分为五个部分分别进行池化操作让模型学习实体在句子中的相关特征 def forward(self, entity1, entity2, left, middle, right):entity1 self.calc_pool(entity1)entity2 self.calc_pool(entity2)left self.calc_pool(left)middle self.calc_pool(middle)right self.calc_pool(right)if left is None:T torch.cat((entity1, middle, entity2, right), dim1)elif middle is None:T torch.cat((left, entity1, entity2, right), dim1)elif right is None:T torch.cat((left, entity1, middle, entity2), dim1)else:T torch.cat((left, entity1, middle, entity2, right), dim1)T torch.mean(T, dim0)T T.unsqueeze(0)y self.fc(T) 相关学习率调整算法
使用了Adam优化算法这是目前深度学习中非常流行的一种优化算法。定义了一个学习率调度器。具体来说它使用了基于指标变化调整学习率的调度器。 通过结合优化器和学习率调度器能够在训练过程中动态调整学习率提高模型的训练效率和效果。优化器负责更新模型参数而调度器根据模型性能自动调整学习率以便在训练后期进行更精细的优化。
optimizer torch.optim.Adam(model.parameters(), lrlearning_rate, weight_decay1e-5)
scheduler ReduceLROnPlateau(optimizer, modemin, factor0.1, patience3, verboseTrue)演示效果
本项目分别在3种关系类别和22种关系类别进行测试实验结果表明类别越多模型的性能会有所下降这可能是受到预训练模型本身的限制
Epoch 5/15, Training Loss: 219.9698, Training Accuracy: 0.9237
total time: 816.9306426048279
Epoch 5/15, Validation Loss: 0.0611, Validation Accuracy: 0.8360训练之后代码会自动保存最好的模型调用模型可以利用模型来预测一句话的种两个实体之间的关系下面是一个演示结果 输入句子
text 据报道东方航空股临时停牌传将与上航合并
entity1 东方航空
entity2上航输出类别
合并使用方式
环境配置
需要前往StandFordCoreNlp的官网下载依存解析器并将其放在本地目录下 前往huggingface下载BERT预训练模型放在本地目录下
运行训练
设置好相关训练参数运行RE.py
执行测试
修改demo.py中的路径和想要判断的文本运行demo.py
