内蒙古建设监理协会网站,小程序需要多少钱,wordpress百度收录搜索,wordpress顶部定义
本质上是做了意图的识别 判断两个内容的含义#xff08;包括相似、矛盾、支持度等#xff09;侠义 给定一组文本#xff0c;判断语义是否相似Yi 分值形式给出相似度 广义 给定一组文本#xff0c;计算某种自定义的关联度Text Entailment 判断文本是否能支持或反驳这个…定义
本质上是做了意图的识别 判断两个内容的含义包括相似、矛盾、支持度等侠义 给定一组文本判断语义是否相似Yi 分值形式给出相似度 广义 给定一组文本计算某种自定义的关联度Text Entailment 判断文本是否能支持或反驳这个假设主题判断
神经网络方法
表示型文本匹配 特点 只需要对用户新输入的问题送入模型运行一次 实际查找中对输入文本做一次向量化运行结果与知识库中的标准问向量分别计算 loss最后排序找到最 match 的结果更适用智能问答用于需要分别看到两句话的场景 计算两句话相似性类似于二分类任务 方式 共享encoder 参数 即孪生网络encoder 层 两句话分别输入encoderLSTM、CNNpool、bert 得到句向量matching layer 层 对两个句向量进行预期分值计算 相同文本用相同参数余弦值夹角为0值为1欧式距离为0可以完全没有可训练参数 在评估阶段进行 cosine loss 或 欧式距离等向量分值计算 triplet loss 目标 使具有相同标签的样本在 embedding 空间尽量接近使具有不同标签的样本在 embedding 空间尽量远离 方式 三元组a, p, n - a 原点 - p 与a 同一类别的样本 - n 与a 不同类别的样本在cv也用于人脸识别模型训练 交互型文本匹配 特点 用户输入新问题与知识库中的n 个标准问分别拼接送入模型计算 n 次 对比把握句子重点更适合问题与答案的匹配场景 因为答案长度与问题长度差异答案与问题是两个概念的东西共用 encoder 参数就不合适可能需要补太多 padding用于需要同时看到两句话的场景 用于计算两句话相关性 方式 每次计算需要两个输入将两个句子拼接成长文本 在模型中判断两句话关联性输出关联性得分
非神经网络算法 Jaccard 相似度 核心逻辑文本中元素的交集/文本中元素的并集 word2vec 核心逻辑从词向量相似度得到句子相似度将文本中所有的词的词向量相加取平均 获取句子向量之间 余弦值两个句子的相似度等同于两个向量的余弦距离 BM25算法 对 TF-IDF 的改进 编辑距离 动态规划算法
def edit_distance(s1, s2):m, n len(s1), len(s2)dp [[0] * (n 1) for _ in range(m 1)]for i in range(m 1):dp[i][0] ifor j in range(n 1):dp[0][j] jfor i in range(1, m 1):for j in range(1, n 1):if s1[i - 1] s2[j - 1]:dp[i][j] dp[i - 1][j - 1]else:dp[i][j] min(dp[i - 1][j - 1], dp[i - 1][j], dp[i][j - 1]) 1return dp[m][n]优点 可解释性强跨语种不需要训练模型 缺点 字符之间没有语义相似度受无关词、停用词影响大受语义影响大文本长度对速度影响很搭 由一个字符串转成量一个所需的最少编辑操作次数 核心是比较两个序列相似性
应用
应用方向 短文本 vs 短文本 知识库问答 不使用文本分类的原因 拓展性不强 新增问题时需要重新训模型相同问题的有效性 会出现无法命中相同问题的情况 可以使用GPT模型 RAG 思路检索增强 聊天机器人 短文本 vs 长文本 文章检索广告推荐 长文本 vs 长文本 新闻、文章的关联推荐 实际应用 信息检索 搜索引擎nlp 最成熟的落地任务智能问答 落地形式 人机对话智能客服智能音箱聊天机器人车载导航手机助手 基础资源 faq 库 多个问答对组成的集合 一个标准问对应一个标准审核好的标准答案运行逻辑 用户提问提问内容预处理 根据算法决定处理方式找到最相似的问题输出答案 核心 进行语义相似度计算 即 文本匹配 书籍文档网页知识图谱表格特定领域知识人工规则 答案产出方式 检索式生成式检索生成 相关技术划分 单轮问答多轮问答多语种问答事实性问答开方性问答多模态问答 问题是文字答案是语音或视频选择性问答抽取式问答生成式问答 … 落地应用 信息检索知识库问答 Faq 知识库
