辽宁网站建设企业,美萍企业管理软件,网站 域名绑定,知识营销案例有哪些一个机器学习项目从开始到结束大致分为 5 步#xff0c;分别是定义问题、收集数据和预处理、选择算法和确定模型、训练拟合模型、评估并优化模型性能。是一个循环迭代的过程#xff0c;优秀的模型都是一次次迭代的产物。
定义问题
要剖析业务场景#xff0c;设定清晰的目标…一个机器学习项目从开始到结束大致分为 5 步分别是定义问题、收集数据和预处理、选择算法和确定模型、训练拟合模型、评估并优化模型性能。是一个循环迭代的过程优秀的模型都是一次次迭代的产物。
定义问题
要剖析业务场景设定清晰的目标同时还要明确当前问题属于哪一种机器学习类型。
收集数据和预处理
收集数据
数据来源有多种形式根据业务问题进行搜集和整合。
数据可视化
通过散点图来观察特征和指标间的分布推测之间的关系。
数据清洗
1、处理缺失的数据。补充、剔除 2、处理重复的数据。 3、处理错误的数据。 4、处理不可用的数据。
特征工程
特征工程是一个专门的机器学习子领域它是数据处理过程中最有创造力的环节特征工程做得好不好非常影响机器学习模型的效率。特征工程就是指优化数据集的特征使机器学习算法更起作用的过程。数据和特征决定了机器学习的上限而模型和算法只是无限逼近这个上限而已。 摒弃掉冗余的特征、降低特征的维度能使机器学习模型训练得更快。
特征选择
在一个数据集中每个特征在标签预测或分类过程中发挥的作用其实都不同。对于那些没作用和作用小的数据我们就可以删掉来降低数据的维度节省模型拟合时的计算空间。
自动特征选择工具klearn 的 feature_selection 模块中有很多自动特征选择工具。SelectKBest 的原理和使用都非常简单它是对每个特征和标签之间进行统计检验根据 X 和 y 之间的相关性统计结果来选择最好的 K 个特征并返回。
数据降维
把多维特征压缩成低维的特征也就是通过算法实现特征选择减少特征的数目。常见的降维算法有两种主成分分析法PCA和线性判别分析LDA。PCA 是一种无监督的降维方法而 LDA 是一种有监督的降维方法。
特征变换
特征变换的整体目标是让原始特征变得机器学习模型可用甚至是更好用。
特征构建
特征构建是整个特征工程领域最具创造力的部分也是我觉得在数据预处理环节中最有意思的地方。因为它完全没有一定之规全凭借你的经验、领域知识和创造力。
构建特征集和标签集
主要是针对监督学习拆分出特征和标签。
拆分训练集、验证集和测试集
训练集用来训练模型验证集用来模型调优测试集用来评估模型性能。 验证集是模型训练过程中单独留出的样本集它可以用于调整模型的超参数和用于对模型的能力进行初步评估。 测试集用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。
选择算法并建立模型
最常用的算法工具包是 scikit-learn简称 sklearn它是使用最广泛的开源 Python 机器学习库堪称机器学习神器。
模型的参数
内部参数和外部参数。内部参数是属于算法本身的一部分不用我们人工来确定刚才提到的权重 w 和截距 b都是线性回归模型的内部参数而外部参数也叫做超参数它们的值是在创建模型时由我们自己设定的。
深度学习
最基本、最简单的神经网络就是逻辑回归模型。神经网络需要对数据进行归一化的操作。
深度学习特别擅长处理非结构化的数据。传统的模型需要先做各种各样的特征工程让数据变得“计算机友好”再输入模型进行学习。而深度学习模型则可以自动进行特征提取因此就省略掉了手工做特征工程的环节。
集成学习
集成学习的核心思想是训练出多个模型并将这些模型进行组合。根据分类器的训练方式和组合预测的方法集成学习中两种最重要的方法就是降低偏差的 Boosting 和降低方差的 Bagging。
训练模型
训练模型就是用训练集中的特征变量和已知标签根据当前样本的损失大小来逐渐拟合函数确定最优的内部参数最后完成模型。
在模型训练的过程中控制模型的复杂度防止过拟合。比如决策树的最大深度和回归模型的正则化。
模型的评估和优化
在验证集或者测试集进行模型效果评估的过程中我们则是通过最小化误差来实现超参数模型外部参数的优化。
如果模型的评估分数不理想我们就需要回到第 3 步调整模型的外部参数重新训练模型。要是得到的结果依旧不理想那我们就要考虑选择其他算法创建全新的模型了。如果很不幸新模型的效果还是不好的话我们就得回到第 2 步看看是不是数据出了问题。
对于过拟合的讨论我们多限于监督学习的应用范围也就是回归和分类两大类问题。当然也有人认为无监督学习中也存在过拟合现象但是无监督学习中的过拟合被讨论的不多。
