朝阳企业网站建设方案,数据库 搭建 网站,色盲怎么治疗,dedecms免费网站模板AI在现实中的应用有很多#xff0c;你有没有想过#xff0c;它还可以进行文本纠错呢#xff1f;传统的校对既耗时又枯燥#xff0c;通过“AI纠错”#xff0c;不仅能更快完成#xff0c;还能提高准确度。那么AI“文本纠错”背后的原理是什么呢#xff1f;和我一起看看吧… AI在现实中的应用有很多你有没有想过它还可以进行文本纠错呢传统的校对既耗时又枯燥通过“AI纠错”不仅能更快完成还能提高准确度。那么AI“文本纠错”背后的原理是什么呢和我一起看看吧 前面跟大家分享了AI开放平台的相关内容之后想围绕AI应用实例这块跟大家分享交流这节主要讲述跟NLP相关的一个应用实例——“文本纠错”。
一、背景
近几月AI人工智能火遍全网。小编注意到AI在现实中的应用有很多甚至可以进行文本纠错呢。而文稿传播最重要的一点就是信息的准确性尤其是一些有知名度的正式平台更是会在文稿发送前进行校对修正。
传统的人工校对工作量是非常大的一篇5000字的文稿完成校对差不多需要1-2个小时对于校稿人员来说既耗时又枯燥。有一家内容平台就提出希望通过AI能力提供快速校对工具主要针对中文文稿帮助校稿人员和编辑人员减少内容错误。
二、关键技术
文本纠错中用到的技术的前世今生在这不过多介绍了目前文本纠错的主流方向还是使用机器学习的方式来完成其中需要用到的核心技术主要包括语言知识学习、上下文理解和知识计算。
语言知识学习可以理解为是对语言规则等先验知识的学习通过学习词法、句法等规则进行语言模型构建例如中英文的主谓宾结构就是不一样的。上下文理解是指分析错误点上下文语境和语义从纠错候选中选择最合适的。尤其是中文相同的词汇在不同语境中往往表达不同的含义。知识计算知识计算主要包括关联知识计算和文本理解关联知识主要是通过对全局知识的统计来实现纠错可以是局部不完整语句的补充。文本理解是通过统计理解全局句子内容解决低频领域知识的泛化问题。
三、产品设计
1. 应用场景
1用户场景审稿或者编辑人员输入中文文字信息系统自动纠错并给出修改建议审稿人员对错误快速修订。
2应用边界
支持用词错误检测针对音近、形近的错字和别字进行纠正支持句子级错误检测主要是针对句子中出现的多字、少字等错误相对难度校大。支持场景类错误纠正这类错误需要具备一些特定领域的知识才能识别纠错所以尽量支持。
2. 产品定位
产品定位为应用工具型产品实现中文文本自动纠错功能。用户定位满足两类B端用户第一类针对具备自主的文稿编辑工具提供API服务与现有系统进行改造融合第二类是针对缺少文稿编辑工具的用户提供web页面功能。
3. 产品功能设计
1页面功能设计
页面核心功能主要包括如下支持内容上传、内容审查、结果确认和内容下载。 主要页面设计如下 2API接口设计
包括内容纠错请求接口和结果回调接分别用于内容审查纠错和结果返回以下描述主要的输入和输出参数
输入接口鉴权、文本内容、文本编码格式等。输出文本分析结果包括源文本、纠错文本、文本位置置信度。
5. 评估指标
产品上线前需要对产品的性能进行评估主要包括三个指标误报率、召回率和处理时间。
误报率代表正确的句子被改错的比率等于正确句子被纠错的个数/正确句子的个数。召回率代表错误的句子被全部纠正的比率等于含有错误的句子被改正的数量/所有含错误的句子数量。处理性能代表处理多少个字符的耗时单位是千字耗时s / 千字符。
四、结论 “文本纠错”的功能是NLP非常基础的场景应用但是实际业务价值却是很大的。在具体业务场景应用方面不仅可以用在在媒体编辑、电子病历等输入文本纠错还可以应用于语音搜索、客服问答等业务。
