站长工具seo综合查询访问,沈阳seo顾问,wordpress单点登陆,青创云网站建设明天会有人来给我们讲AI方面的课#xff0c;我也一直想整理一下这方面的知识#xff0c;今天也趁着这个机会做一下功课#xff0c;算是预习。
首先#xff0c;AI的模型训练可以分为#xff1a; 增量学习#xff08;Incremental Learning#xff09; 增量学习允许模型在…明天会有人来给我们讲AI方面的课我也一直想整理一下这方面的知识今天也趁着这个机会做一下功课算是预习。
首先AI的模型训练可以分为 增量学习Incremental Learning 增量学习允许模型在新数据到来时进行更新而不需要重新训练整个模型。这种方法适用于那些需要持续适应新数据的场景。然而并不是所有的机器学习模型都支持增量学习。一些模型如支持向量机SVM和决策树可以通过特定的策略实现增量更新但其他模型尤其是深度学习模型通常较难直接进行增量更新。
在线学习Online Learning 在线学习是一种特殊的增量学习方法它允许模型在接收新数据时实时更新。在线学习算法能够处理数据流并在每个时间步根据新接收的数据调整模型参数。这种方法适用于数据持续生成且需要实时响应的应用。
模型微调Fine-tuning 在深度学习中模型微调是一种常用的技术它涉及在预训练模型的基础上使用新数据进行训练。通常你会冻结预训练模型的大部分层并只更新顶层或特定层的权重。这种方法允许模型保留在大量数据上学到的通用特征同时学习新数据集中的特定特征。
重训练Retraining 如果模型不支持增量学习或在线学习你可能需要使用新数据和原始数据重新训练整个模型。这通常是最直接的方法但也可能非常耗时尤其是在数据集很大或模型很复杂的情况下。
迁移学习Transfer Learning 迁移学习类似于模型微调但更侧重于将从一个任务学到的知识迁移到另一个相关任务上。这通常涉及使用在大规模数据集上预训练的模型并在特定任务的小数据集上进行微调。
AI模型训练大致包含一下几步 数据的收集 这一块不用说肯定是要用到网络爬虫技术。 数据的清洗与整理 Pandas用于数据的清洗与整理下面是一个以新闻为例的整理好的数据样本。
新闻ID分类标签预处理后的新闻内容1体育足球世界杯决赛将在本周末举行两支强队将争夺冠军。2政治国家领导人会见了来访的外国元首双方就贸易问题进行了深入讨论。3娱乐著名歌手发布了新专辑其中的主打歌曲已经在各大音乐平台上线。
特征提取 特征向量是机器学习可以理解和使用的数值。 下面是一个简单的特征向量的例子 新闻1特征向量: [1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 不同的模型训练对向量数据的格式要求不同。 模型训练 常用的库就是PyTorch 评估和优化 相关的知识点包括
准确率召回率F1分数混淆矩阵
回到我之前博客中提到的笔记系统我打算使用增量学习的模型构建自己的知识库。当笔记数据更新时会有队列任务去提取笔记数据对笔记数据进行清洗然后提取特征生成向量数据然后再进行模型训练…哈哈梦醒了。
欢迎大家留言区交流。还望路过的大佬多多指教。
2024.2.23 重庆.渝北
