什么样的网站可以做外链,客户网站建设洽谈方案,中国网站的特点,WordPress使用自己主题ACL 2023事件抽取相关(事件抽取、事件关系抽取、事件预测等)论文汇总#xff0c;后续会更新全部的论文讲解。
Event Extraction
Code4Struct: Code Generation for Few-Shot Event Structure Prediction 数据集#xff1a;ACE 2005 动机#xff1a;与自然语言相比#xf…ACL 2023事件抽取相关(事件抽取、事件关系抽取、事件预测等)论文汇总后续会更新全部的论文讲解。
Event Extraction
Code4Struct: Code Generation for Few-Shot Event Structure Prediction 数据集ACE 2005 动机与自然语言相比结构可以更直接地映射到代码用编程语言编写的代码在表示复杂且相互依赖的结构方面具有固有的优势具有继承和类型注释等功能。 方法使用代码生成解决EAE。模型使用CODEX(调用API)prompt包括三部分本体代码表示(基础类定义(entity、event)、实体类定义、事件类定义)、k-shot上下文示例、任务prompt。遇到“”, class, print, #停止生成。 Joint Document-Level Event Extraction via Token-Token Bidirectional Event Completed Graph 数据集ChFinAnn、DuEE-Fin 动机文档级事件论元抽取存在如下挑战论元分散在多个句子、多事件、更多的噪声。现有的工作存在如下限制1)路径扩展的自回归策略严重依赖于参数角色的顺序2)需要事先指定文档中事件的数量。3)基于实体-实体邻接矩阵对事件进行解码时通常会出现意外错误。 方法提出了一个token-token双向事件完全图(边为eType-X_role1-X_role2(事件类型、角色类型)X表示为B或I(论元的位置)一个事件表示为一个完全图)。具体方法包括三步1)BERTBi-LSTM进行编码(额外增加实体类型编码)2)对任意两个token进行分类得到token-token矩阵。3)对token-token矩阵进行解码(一个事件为一个完全图)。
Event Extraction as Question Generation and Answering 数据集ACE 2005 动机现有基于问答的事件抽取方法模板是人工构建的(固定的并且很少包含上下文信息) 方法提出一个模型首先生成问题(根据事件信息构建多个上下文问题选择包含论元最多的作为ground truth)然后根据生成的问题抽取论元(生成范式)。
Document-Level Multi-Event Extraction with Event Proxy Nodes and Hausdorff Distance Minimization 数据集ChFinAnn、DuEE-Fin(评价指标好像不需要对应span的区间只匹配文字) 动机1)从实体信息中解码事件倾向于产生局部最优结果不考虑文档中多个事件的相互依赖。2)通过迭代合并实体的事件解码会遭受错误传播事件类型或被错误分类的实体无法纠正。3)解码决策需要迭代文档中提及的所有实体是不高效的。 方法利用事件代理节点建模事件间的交互使用Hausdorff距离优化生成事件和gold事件。具体地首先序列标注抽取出全部的候选实体(序列标注loss判断两个实体是否处于同一个事件loss)随机初始化n个代理节点表示图的节点为代理节点、实体、上下文边为代理节点互相连接、实体与代理节点互相连接、上下文与代理节点互相连接。为了使每个代理节点有独特的聚合函数使用一层的GNN-FiLM学习图的表示(权重由节点得到)然后对事件进行解码(事件类型分类对代理节点分类事件论元分类使用多头注意力聚合相同实体mention的信息然后和代理节点拼接进行分类)最后使用Hausdorff距离优化定义预测和gold事件的距离为事件类型和论元角色的交叉熵然后计算预测和gold事件匹配的最小值作为loss(类似二分匹配)。
Multilingual Event Extraction from Historical Newspaper Adverts 数据集Runaways Slaves in Britain(历史报纸广告数据集) 动机历史文本的NLP任务存在挑战需要大规模标注数据集、大多数现成的NLP模型都是针对现代语言文本进行训练的对历史文档的表现明显较差。 方法根据现有的英文数据集构造了一个新的多语言数据集(英语、法语、荷兰语通过翻译、人工标注构建)用于事件抽取(无触发词)。模型为问答模型(人工为每个论元构建5个问题通过QA模型选择最合适的问题)
DICE: Data-Efficient Clinical Event Extraction with Generative Models 数据集MACCROBAT-EE(200个文档临床领域) 动机临床事件抽取存在两个挑战触发词和论元有模糊的边界、论元的多样性和稠密。 方法根据MACCROBAT数据集构造了第一个临床事件抽取数据集(MACCROBAT包括实体和关系将事件mention转换为触发词和对应的事件类型通过MODIFY关系分配非事件mention为论元和对应的角色)模型为生成模型包括提及识别、事件检测、事件论元抽取(输入文本和prompt输出多个对应的实体/触发词/论元)使用InfoNCE loss帮助模型识别正确的边界(取样部分负样本(改动的边界))。在训练中为了缓解gold和预测上流结果的不一致使用scheduled sampling。 Boosting Event Extraction with Denoised Structure-to-Text Augmentation 数据集ACE 2005、ERE 动机在事件抽取任务中现有的数据增强方法常常忽视语法错误、结构错位和语义漂移的问题。 方法提出一个structure-to-text的数据增强框架利用强化学习选择高效的数据。具体地生成模型为使用T5模型进行mask填空Policy模型为BERT二分类事件抽取模型为GTEEAction为是否移除生成的数据Reward为论元分类的F1分数。
Learning from a Friend: Improving Event Extraction via Self-Training with Feedback from Abstract Meaning Representation 数据集ACE2005、ERE 动机数据增强 方法首先训练一个事件抽取模型然后使用抽取模型进行数据增强提出一个打分模型通过AMR图(事件类型和论元角色的最短路径)对生成的数据进行打分然后再次训练抽取模型。
TAGPRIME: A Unified Framework for Relational Structure Extraction
Event Detection
The Art of Prompting: Event Detection based on Type Specific Prompts 数据集ACE 2005、ERE、MAVEN 动机比较了表示事件类型的各种形式的prompt进行监督、少样本和零样本事件检测。 方法拼接事件类型的prompt(事件名称、事件类型的定义、触发词示例、事件类型结构)然后对token二分类(拼接词性编码)。 Learning with Partial Annotations for Event Detection 数据集ACE 2005、MAVEN 动机无法确保每个事件都被标注经常面临部分注释的问题。 方法提出一个触发词定位的事件检测方法。输入为事件类型和文本方法主要包括两部分1)使用margin softmax进行句子级的softmax得到触发词鼓励正例触发词和上下文词间的概率差容忍负例([SEP]表示无触发词)和上下文词的概率差。2)不确定性引导的再训练使用Monte Carlo Dropout得到多次预测的结果根据预测频率取样得到一个预测结果进行再训练。
Hybrid Knowledge Transfer for Improved Cross-Lingual Event Detection via Hierarchical Sample Selection 数据集ACE 2005、ERE、MINION(包括8种语言数据) 动机跨语言方法存在两个主流的知识迁移方式数据迁移(未对齐或不正确的翻译会引入噪声)、直接迁移(不能利用词标签关系和其他目标语言特定信息(如词序和词汇特征)) 方法提出一种混合迁移的方法用于跨语言事件检测(知识蒸馏)模型结构为多语言预训练模型编码后进行token分类。教师模型在有标注数据上进行训练,为了学习语言无关的表示二分类判断语言类型(使用Gradient-Reversal Layer最大化这个loss)。教师模型标注数据用于学生模型为了减少噪声进行两步的样本选择(第一步Optimal Transport得到source和target样本的对齐分数然后使用Cross-domain Similarity Scaling scores选择相似度高的样本)
Few-shot Event Detection: An Empirical Study and a Unified View 数据集ACE2005、MAVEN、ERE 动机现有的few-shot事件检测方法在三个方面存在明显差异1)Motivation: 探索模型的泛化性和可迁移性。2)Task setting: episode learning、class-transfer、task-transfer。3)Experimental Setting。 方法本篇论文进行了low-resource和class-transfer设置下12 种事件检测的SOTA 方法的实验研究同时提出了一个简单但是高效的baseline使用标签语义和事件提及作为原型距离函数为缩放的余弦相似度使用loss合并这两种原型(事件提及的loss为相同标签下的对比loss)。
Zero- and Few-Shot Event Detection via Prompt-Based Meta Learning 数据集FewEvent、MAVEN 动机目前没有方法是针对零样本和小样本事件检测而设计的在统一框架下结合这两种设置是困难的。 方法提出了一个统一的元学习框架用于零样本和小样本事件检测。具体地拼接prompt(得到事件类型)和上下文分类得到事件类型和触发词同时提出一个基于最大平均差异的对比loss放大类间差异使用元学习进行训练。 Trigger-Argument based Explanation for Event Detection 数据集ACE 2005、MAVEN 动机忽略事件结构知识、解释不能反映决策过程 方法提出一个解释事件检测模型的方法包括三个步骤Group(分组)、Sparsity(过滤无用的特征)、Support(确保前两个步骤生成解释的正确性)。
Retrieving Relevant Context to Align Representations for Cross-lingual Event Detection 数据集ACE 2005 动机对齐特征的多语言事件检测模型可能忽略事件预测的重要特征。 方法提出一个检索增强的多语言事件检测方法首先检索相似的目标语言的句子然后与原始语言的表示计算attention来增强原始语言的表示最后序列标注完成事件检测。
Event Argument Extraction
AMPERE: AMR-Aware Prefix for Generation-Based Event Argument Extraction Model 数据集ACE 2005、ERE 动机探索如何将辅助结构化的信息合并到基于生成的 EAE 模型 方法将AMR编码为前缀用于DEGREE模型。首先使用SPRING(基于BART的AMR解析器)解析AMR然后深度有限搜索将AMR图转换为线性使用AMRBART或RoBERTa编码然后使用attention得到前缀(query为可学习的向量)在模型的每一层前缀表示为key和value与原始的key和value拼接。为了防止模型幻化和输出不符合模板引入copy mechanism同时为了使模型更大概率复制输入将生成概率作为正则项加入loss中。
An AMR-based Link Prediction Approach for Document-level Event Argument Extraction 数据集RAMS、WikiEvents 动机之前的工作通过序列模型隐式地使用 AMR 信息而不是显式地使用离散结构。 方法将EAE转换为链接预测问题(优势AMR图比文本更加紧凑抽取论文更加简单和高效显式构建多个论元和事件间的依赖提升推理速度)。AMR图的构建(合并边的类型为主要几类添加未在AMR图上的span枚举全部的span(lengthm)使用分类器判断得分top-k的span加入图上(已在图上的拼接node-type embedding可以部分匹配一个节点的和这个节点使用边连接不能匹配现有的节点与span左右边界最近的节点连接))使用R-GCN编码拼接span和触发词、事件类型预测该span对应的角色。loss:判断是否是候选论元的loss预测角色loss。 Few-Shot Document-Level Event Argument Extraction 数据集DocEE(无触发词包含27485篇Wikipedia文章、27000事件、180000论元) 动机第一个提出小样本文档级EAE任务 方法根据事件类型分为In domain和Cross domain场景由于一篇文档可能存在多个论元N-Way-K-Shot的设置可能难以满足本篇文章提出N-Way-D-Doc(N个论元类型、D篇文档重叠的论元角色在test/vel中被mask掉)。使用K-means聚类得到K个向量表示None类型然后使用NNShot(Nearest Neighbor Tagger, 首先获得全部的token表示然后根据在support集中最相似token的标签进行分类)进行token级的分类。
Retrieve-and-Sample: Document-level Event Argument Extraction via Hybrid Retrieval Augmentation 数据集RAMS、WikiEvents 动机探索了如何从输入和标签分布的角度设置用于文档级EAE的检索策略。 方法检索增强的生成式论元抽取方法提出了3种检索策略。1检索文本输入相似的文档。2检索标签相似的文档。3首先检索k个相似的文档然后通过高斯采样取输入和输入标签区域交集处的向量。
Revisiting Event Argument Extraction: Can EAE Models Learn Better When Being Aware of Event Co-occurrences? 数据集ACE 2005、RAMS、WikiEvents、MLEE(生物领域文档级事件抽取数据集嵌套事件、多事件) 动机现有的EAE方法一次只考虑一个事件忽略了事件的共现信息。 方法改进PAIE以text-to-table的形式抽取论元。表的列名为多个事件的prompt行名为触发词最后拼接成列表进行编码。表的decoder中修改了attention mask(列名互相可见、列名可见全部的触发词、角色slot互相可见、触发词和对应的角色slot互相可见实现为attention_mask, cross_attention(使用roberta作为encoder-decoder结构))。论元抽取和PAIE一样计算span的开始和结束概率。 GENEVA: Benchmarking Generalizability for Event Argument Extraction with Hundreds of Event Types and Argument Roles 数据集GENEVA 动机现有的EAE数据集存在有限的多样性(仅关注1、2种抽象事件类型(MAVEN的顶点))和覆盖范围(论元角色是实体)。 方法根据FrameNet构建了一个多样和全面的EAE事件本体(包括非实体的论元角色)和数据集。主要包括两个步骤1构建本体事件本体从MAVEN映射得到事件论元本体为人工标注然后对事件本体进行校正。2构建数据集映射frame为对应的事件lexical unit为触发词frame element为论元。
What Is Overlap Knowledge in Event Argument Extraction? APE: A Cross-datasets Transfer Learning Model for EAE 数据集ACE2005、RAMS、WikiEvents 动机在每个数据集上独立训练EAE模型单个数据集往往无法提供足够的事件记录严重阻碍了这些模型取得更好的性能。 方法分两个阶段学习重叠知识和特定知识。任务定义为生成任务使用Prefix保存重叠知识Adapter保存特定知识。重叠知识阶段构建prompt填slot得到对应的实体类型(人工映射论元角色和实体类型)。特定知识阶段使用实体类型的slot构建prompt填slot得到对应的论元。训练时先训练重叠知识阶段然后冻结参数训练特定知识阶段。
Document-Level Event Argument Extraction With a Chain Reasoning Paradigm 数据集RAMS、WikiEvents 动机文档级事件论元抽取存在长距离依赖问题。 方法提出一种链式推理的范式用于文档级事件论元抽取(格式为动词(实体实体/论元)长度为2)。候选实体为单个词(根据编码表示打分选择top-K个)候选论元为ground实体或者spacy工具得到。M个动词通过实体之间的分数、实体分数(触发词和论元分数为1)、语义角色得到地动词概率。
Enhancing Document-level Event Argument Extraction with Contextual Clues and Role Relevance 数据集RAMS、WikiEvents 动机现有的方法忽略了非论元的上下文线索信息、论元角色之间的相关性。 方法提出两个模块建模非论元的上下文线索信息和角色间的语义相关性。Span-Trigger-based Contextual Pooling首先筛选候选span(排除区间中带标点符号)然后使用Transformer中的注意力分数构造候选区间和触发词间的上下文信息。 Role-based Latent Information Guidance使用Transformer中的注意力分数构造论元角色和触发词间的上下文信息。 分类包括边界loss(二分类)和分类loss(focal loss平衡负样例)。
Contextualized Soft Prompts for Extraction of Event Arguments 数据集RAMS、WikiEvents 动机现有的基于提示学习的事件论元抽取方法主要依赖于离散的和手动设计的提示这些提示无法利用每个示例的特定上下文来以获得最佳性能。 方法对文档和事件类型构图(如果文档中存在该事件类型则连边)使用图注意力网络学习融合上下文信息的事件类型表示。使用事件类型的表示和触发词的表示构造soft prompt然后和人工构造的promot拼接为每个角色抽取对应的论元。
Information Extraction
Easy-to-Hard Learning for Information Extraction 任务命名实体识别、关系抽取、事件抽取、方面级情感分析 数据集CoNLL03、ACE04-Ent、ACE05-Ent、CoNLL04、ACE05-Rel、Sci-ERC、ACE05E、CASIE、Rest14、Laptop14、Rest15、Rest16、R-ACOS、L-ACOS、Rest15、Rest16 动机现有信息抽取方法直接学习在给定输入文本的情况下抽取目标结构与人类的学习过程相矛盾。 方法提出一个Easy-to-Hard的框架首先将信息抽取定义为生成问题通过改变prompt增加任务的难度使用简单(各个任务的子任务)、困难(拼接两个实例)、主要三个阶段训练模型。 UniEX: An Effective and Efficient Framework for Unified Information Extraction via a Span-extractive Perspective
Event Causality Identification
CHEER: Centrality-aware High-order Event Reasoning Network for Document-level Event Causality Identification
Enhancing Event Causality Identification with Event Causal Label and Event Pair Interaction Graph
Semantic Structure Enhanced Event Causality Identification
Enhancing Event Causality Identification with Counterfactual Reasoning
SEAG: Structure-Aware Event Causality Generation 提取事件因果关系是广泛的自然语言处理应用的基础。 现有方法将此任务分解为事件检测和事件因果关系识别。 尽管流水线解决方案成功地实现了可接受的结果但分离任务的固有性质会带来限制。 一方面它缺乏跨任务依赖可能会导致错误传播。 另一方面它分别预测事件和关系破坏了事件因果图ECG的完整性。 为了解决这些问题在本文提出了一种结构感知事件因果关系生成SEAG的方法。 通过图线性化模块基于预训练的语言模型以文本到文本生成的方式生成ECG结构。 为了促进ECG的结构表示引入了新颖的因果结构辨别训练范式在该范式中在自回归生成的同时进行结构辨别训练使模型能够区分构建的不正确ECG。 对三个数据集进行实验。 实验结果证明了结构事件因果关系生成和因果结构辨别训练的有效性。
Event Temporal Identification
Prompt-based Temporal Classification of Treatment Events from Discharge Summaries
History repeats: Overcoming catastrophic forgetting for event-centric temporal knowledge graph completion
More than Classification: A Unified Framework for Event Temporal Relation Extraction
Other
Combining Tradition with Modernness: Exploring Event Representations in Vision-and-Language Models for Visual Goal-Step Inference 数据集wikiHow-VGSI 动机在视觉目标-步骤推理任务中(输入为一段文本和四张图片选择正确的图片)探索不同的方法将受语言启发的表示注入到模型中。 方法事件由依存解析器得到表示事件为三/四元组与文本拼接得到向量表示模型为Triplet Network(文本和事件表示正例图片表示负例图片表示)使用cosine相似度选择图片。
A Sequence-to-SequenceSet Model for Text-to-Table Generation 任务Text-to-Table 动机在序列到序列的生成中存在1) 预定义的顺序在训练过程中引入了错误的偏差这会严重惩罚行之间顺序的变化2) 当模型输出较长的token序列时错误传播问题变得严重 方法首先进行初步研究来证明大多数行的生成是顺序不敏感的。除了对输入文本进行编码的文本编码器之外模型还配备了表头生成器以序列生成的方式首先输出表头即表的第一行。然后使用具有可学习行嵌入和列嵌入的表体生成器来并行生成一组表体行。为了解决训练过程中每个生成的表体行与目标之间没有对应关系的问题提出了一种基于生成的表体行的第一个单元格与目标之间的二部匹配的目标分配策略。
Dataset
U-CREAT: Unsupervised Case Retrieval using Events extrAcTion 法律领域中的先例检索PCR的任务是在给定的查询案例中自动引用相关的基于事实和优先例先前的法律案例。 为了进一步促进PCR的研究本文为PCR任务提出了一个新的大型基准英文IL-PCR印度法律先例检索语料库。 鉴于案件相关性的复杂性和法律文件的冗长BM25 仍然是对引用的先前文件进行排名的强有力的基准。 在这项工作中探讨了事件在法律案例检索中的作用并提出了一种基于无监督检索方法的管道 U-CREAT使用事件提取的无监督案例检索。 发现与 BM25 相比所提出的无监督检索方法显着提高了性能并使检索速度大大加快使其适用于实时案例检索系统。 提出的系统是通用的表明它可以概括两种不同的法律体系印度和加拿大并且它在两种不同的基准上都显示出最先进的性能法律系统IL-PCR 和 COLIEE 语料库。
