上海网站建设网站优化app,wordpress 支持,wordpress公园,行业网站做不下去论文标题为《ReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation》#xff0c;发表在 EMNLP 2023 上。ReFSQL框架通过结构增强检索器来获取与当前问题语义和模式结构相似的样本#xff0c;然后通过对比学习机制来引导模型学习到这些样本的特定知识…论文标题为《ReFSQL: A Retrieval-Augmentation Framework for Text-to-SQL Generation》发表在 EMNLP 2023 上。ReFSQL框架通过结构增强检索器来获取与当前问题语义和模式结构相似的样本然后通过对比学习机制来引导模型学习到这些样本的特定知识最终生成准确的SQL查询。论文通过在多个数据集上的实验验证了该方法的有效性并与多个基线模型进行了比较证明了其优越的性能。
论文主要贡献
论文提出了一个新的检索增强框架用于文本到SQL查询的生成任务。该框架能够适应具有各种固有SQL特性的样本并弥补特定知识与一般知识之间的差距。还设计了一个结构增强检索器通过问题语义和模式结构以无监督的方式识别具有可比性特定知识的样本。提出了一种马氏距离对比学习方法该方法有助于将样本转移到由检索到的样本构建的特定知识分布中。
论文方法 1. 结构增强检索器(Structure-enhanced Retriever)
结构增强检索器的目标是识别具有相似特定知识的样本以便模型能够获取到关于相似SQL语法的先验知识。这一部分由两个子模块组成
1.1 SQL结构增强问题检索器(SQL-Structure-enhanced Question Retriever)
这个检索器通过SQL查询的结构信息来增强问题的表示。利用SQL查询的树结构来量化它们之间的相似性选择与当前样本结构相似的SQL查询来作为正样本。
1.2 链接结构模式检索器(Linking-Structure-based Schema Retriever)
这个模块关注于模式结构并使用神经网络模型进行重排序任务。它构建了一个交互图该图捕获了问题和数据库之间的多种关系然后通过无监督学习方法来获取交互图的表示。
2. 生成器(Generator)
生成器的目标是弥补特定知识与一般知识之间的差距。它由编码器和解码器组成
2.1 编码器(Encoder)
编码器可以替换为不同的预训练模型论文中以T5模型为例。
2.2 解码器(Decoder)
解码器引入了对比学习机制以指导样本表示向相似样本的分布靠近远离不相似样本的分布。
3. 对比学习(Contrastive Learning)
为了优化对比学习的效果论文提出了一种更精细的策略来构建对比样本。通过对比学习引导样本向相似语义样本的分布靠近。
4. Mahalanobis对比学习机制(Mahalanobis Contrastive Learning)
为了将样本表示转移到相似语义样本的分布中并远离不相似样本的分布论文提出了使用马氏距离对比机制。马氏距离考虑了数据的协方差结构能够更好地度量样本与分布之间的距离。
5. 训练细节(Training Details)
训练阶段的损失主要由两部分组成最大似然估计损失(MLE loss)和对比损失(contrastive loss)。通过结合这两种损失模型能够同时学习到准确的SQL查询生成和缩小特定知识与一般知识之间的差距。
模型表现
