注册公司网站,网站运行费用预算,10分钟免费建网站,西宁seo快速排名目录 一、全功能AI开发平台介绍二、AI项目落地应用流程#xff08;以文本分类为例#xff09;2-0、项目开始2-1、项目背景2-2、数据准备介绍2-3、项目数据2-4、建模调参介绍2-5、项目的建模调参2-6、开发部署2-7、项目在公有云的部署 附录#xff1a;调用api代码总结 一、全… 目录 一、全功能AI开发平台介绍二、AI项目落地应用流程以文本分类为例2-0、项目开始2-1、项目背景2-2、数据准备介绍2-3、项目数据2-4、建模调参介绍2-5、项目的建模调参2-6、开发部署2-7、项目在公有云的部署 附录调用api代码总结 一、全功能AI开发平台介绍 全功能AI开发平台是一个综合性的平台旨在支持各种人工智能AI应用的开发、部署和管理。这些平台通常提供一系列工具、库和服务以帮助开发者、数据科学家和工程师创建和操作各种类型的AI应用。以下是全功能AI开发平台通常提供的一些功能和特性
数据管理提供数据存储、数据集成、数据清洗和数据标注工具以支持AI模型的训练和评估。模型开发包括模型训练、调优和验证工具以及深度学习框架集成使开发者能够创建自定义AI模型。自动化MLAutoML提供自动化工具可以自动选择和调整模型参数以简化模型开发流程。部署和托管支持AI模型的部署到云端或边缘设备并提供自动扩展和管理模型的能力。可解释性和监控提供模型解释性工具以及实时性能监控和错误检测以确保AI应用的可靠性和可解释性。集成和API支持将AI功能集成到现有应用程序中以及提供API以便其他应用程序可以调用AI模型。安全性和隐私提供安全性和隐私保护功能以确保AI应用的数据和模型的安全性。可视化工具提供可视化界面以简化模型训练和部署的管理和监控。
下面以百度BML全功能AI开发平台为例进行介绍一站式AI开发流程如下且底层框架内置文心大模型基座 二、AI项目落地应用流程以文本分类为例
2-0、项目开始
任务抽象
项目有多少个任务场景每个任务场景需要开发多少个模型部署场景的约束是什么
任务流程介绍
采集/标注数据选择预训练模型数据增强策略超参数调整模型训练以及评估分析报告
2-1、项目背景
项目背景介绍 在我们的生活和工作中很多事情都可以转化为一个分类问题来解决比如“上班坐公交还是坐地铁”、“吃米饭还是吃面条”等等可以转化为二分类问题。自然语言处理领域也是这样大量的任务可以用文本分类的方式来解决比如垃圾文本识别、涉黄涉暴文本识别、意图识别、文本匹配、命名实体识别等有着极其广泛的应用场景 投诉信息分类训练客服投诉信息的自动分类将每个用户投诉的内容进行分类管理节省大量客服人力。媒体文章分类训练网络媒体文章的自动分类进而实现各类文章的自动分类。文本审核定制训练文本审核的模型如训练文本中是否含有违规/偏激性质的描述。 中文新闻文本标题分类任务简介 新闻分类是文本分类中常见的应用场景。在传统分类模式下往往是通过人工对新闻内容进行核对从 而将新闻划分到合适的类别中。这种方式会消耗大量的人力资源并且效率不高。采用深度学习的方法可以取得较高的分类精度是新闻推荐等场景下的基础任务。 使用BML开发平台注册账号并且开始使用官方链接
2-2、数据准备介绍
项目数据
项目任务需要什么样的数据如何制作高质量的数据集图片数据是否存在高度相似、模糊的图片进行数据的清洗数据量不够怎么办每一类的图片数量是否大于80张是否需要增加图片以平衡类别数量进行上采样
高质量数据
数据标注正确尽量提升数据的类别提升模型的泛化能力保证训练数据尽量与业务数据接近各个类别平衡数据划分正确测试集验证集不会泄露。以结果为导向看数据看哪个类别的数据模型不太擅长识别即分析badcase采用数据增强增加数据数量。
数据增强以图片的数据增强为例
对比度色平衡亮度锐化目标框裁剪标注框旋转标注框翻转水平裁剪
BML平台优势
智能标注多人标注数据质检报告支持与数据采集设备直连BML自动化数据清洗去近似、去模糊、裁剪、旋转、镜像。自动数据增强。开放超过40种算子灵活配置 2-3、项目数据
本文采用中文新闻文本标题分类数据集进行示例:数据 点击数据集管理并创建数据集。 在创建数据集界面设置好相关信息并点击完成 填写导入配置信息: 设置数据的标注状态是否为有标注信息从本地导入上传txt文本。之后点击上传txt文本将下载好的数据上传。 数据集创建完成后可以在数据集管理界面看到导入的数据并可以查看到导入状态、标注状态等信息。
2-4、建模调参介绍
建模调参
选择什么样的模型有没有精度更高的模型如何调优进一步提升性能要不要购买服务器
BML平台优势
提供预置模型调参、NoteBook建模、自定义作业建模等三种开发方式满足不同需求的开发者。 自动调参以某种高级策略搜索超参组合自动获得优秀的模型效果
2-5、项目的建模调参
选择使用预置模型调参选择自然语言处理模型点击创建任务 选择类型为文本分类-类型为单文本单标签。 创建完成后点击新建运行。 添加数据可以选择刚才导入的数据集也可以选择公开数据集二分类。数据量较少需要注意的是如果选择公开数据集可以跳过前边的所有步骤。 在配置模型阶段可以进行相关预训练模型的配置以及超参数的设置。Tiny版本模型更小训练速度更快但是精度略差。之后设置训练资源以及选择计算节点。提交运行任务。 训练结束后点击评估报告可以查看模型的表现情况由于时间原因我这里选择的是公开二分类数据进行训练, 点击配置详情可以查看训练时设置的参数训练可视化可以查看训练过程中的指标变化 进一步测试模型可以点击发布按钮进行模型的发布 发布模型之后可以在发布模型这一列看到已经发布的模型这时候点击评估报告可以看到模型校验按钮可以进行模型的校验输入文本进行校验。 2-6、开发部署
部署环境 云端公有云部署即将模型部署为在线服务从而以REST API的方式提供推理预测能力。且公有云部署是最快捷的模型部署方式不同类型的模型在执行公有云部署时的流程基本一致当部署后在线API的接口与模型有关。 易于部署迭代可使用大模型快速上线高延迟成本线性升高 边缘端 算力限制前期开发部署成本高低延迟成本可控 在线服务说明在线服务当前仅允许一个模型版本处于上线状态若上线时有其他模型版本在线则会将当前版本下线并且上线新的版本。服务状态以及其含义说明如下所示 2-7、项目在公有云的部署
在模型仓库中选择发布的模型版本之后进行在线服务部署。 在线服务设置设置服务名称以及接口地址模型配置阶段设置已经发布的模型以及对应版本在资源配置阶段设置好需要使用的配置按照小时计费。 创建好在线服务之后创建应用之后调用接口进行服务调用 之后使用ak、sk以及请求url来进行接口的调用
附录调用api代码
import requests
import jsonAPI_KEY
SECRET_KEY def main():url https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify?charsetaccess_token get_access_token()payload json.dumps()headers {Content-Type: application/json,Accept: application/json}response requests.request(POST, url, headersheaders, datapayload)print(response.text)def get_access_token():使用 AKSK 生成鉴权签名Access Token:return: access_token或是None(如果错误)url https://aip.baidubce.com/oauth/2.0/tokenparams {grant_type: client_credentials, client_id: API_KEY, client_secret: SECRET_KEY}return str(requests.post(url, paramsparams).json().get(access_token))if __name__ __main__:main()
参考文章 百度BML全功能开发平台官网. 数据集管理. EasyDL文本价格整体说明. 开发文档训练、部署等. 鉴权认证机制. 服务与支持文档. 示例代码中心. 总结
人有悲欢离合月有阴晴圆缺此事古难全。
