万网关网站三次,建筑公司网站新闻,公共服务标准化试点,看不到图片 wordpress1.5 机器学习的主要挑战
1.5.1 训练数据不足
对于复杂问题而言#xff0c;数据比算法更重要但中小型数据集仍然很普遍#xff0c;获得额外的训练数据并不总是一件轻而易举或物美价廉的事情#xff0c;所以暂时不要抛弃算法。
1.5.2 训练数据不具有代表性
采样偏差#…1.5 机器学习的主要挑战
1.5.1 训练数据不足
对于复杂问题而言数据比算法更重要但中小型数据集仍然很普遍获得额外的训练数据并不总是一件轻而易举或物美价廉的事情所以暂时不要抛弃算法。
1.5.2 训练数据不具有代表性
采样偏差如果样本太小那么会出现采样噪声即非代表性数据被选中但如果采样方法有缺陷即使是非常大的样本也可能不具有代表性。
1.5.3 低质量数据
训练数据充满错误、异常值和噪声例如低质量的测量产生的数据系统将更难检测到底层模式也就更不太可能表现良好。
需要对数据进行清洗必须决定是完全忽略此属性、忽略这些实例、将缺失值补充完整例如填写年龄的中位数还是训练一个具有该特征的模型再训练一个没有该特征的模型。
1.5.4 无关特征
机器学习项目成功的一个关键部分是提取出好的特征集来进行训练。这个过程称为特征工程包括以下步骤
特征选择在现有特征中选择最有用的特征进行训练。特征提取结合现有特征产生更有用的特征正如我们之前看到的降维算法可以提供帮助。通过收集新数据创建新特征。
1.5.5 过拟合训练数据
过拟合也就是指该模型在训练数据上表现良好但泛化效果不佳。当模型相对于训练数据的数量和噪声过于复杂时就会发生过拟合。以下是可能的解决方案 通过选择参数较少的模型例如线性模型而不是高阶多项式模型、减少训练数据中的属性数量或约束模型来简化模型。收集更多训练数据。减少训练数据中的噪声例如修复数据错误并移除异常值。 正则化通过约束模型使它更简单并降低过拟合风险的过程。 正则化例子 例如我们之前定义的线性模型有两个参数θ0和θ1。 因此该学习算法有两个自由度来调整模型使其适应训练数据它可以调整直线的高度(θ0)和斜率(θ1)。 如果我们强制θ0该算法只有一个自由度并且会更难正确地拟合数据它所能做的就是向上或向下移动线以尽可能接近训练实例所以它最终会在平均值附近。这确实是一个非常简单的模型 如果我们允许算法修改θ1但强制它保持较小的值那么该学习算法的自由度将在1到2之间。它生成的模型会比有两个自由度的模型更简单但比只有一个自由度的模型要复杂一些。 你希望在完美拟合训练数据和保持模型足够简单之间找到适当的平衡点以确保模型能够较好地泛化。 超参数学习期间应用的正则化程度可以由超参数控制。超参数是学习算法而非模型的参数。因此它不受学习算法本身的影响必须在训练前设置并在训练期间保持不变。
如果将正则化超参数设置得非常大你将得到一个几乎平坦的模型斜率接近于零。学习算法虽然肯定不会过拟合训练数据但也不太可能找到好的解决方案。调整超参数是构建机器学习系统的重要部分。
1.5.6 欠拟合训练数据
欠拟合与过拟合正好相反当模型太简单而无法学习数据的底层结构时就会发生欠拟合。 例如生活满意度的线性模型容易出现欠拟合。 因为现实情况总是比模型更复杂所以它的预测必然是不准确的即使是在训练样例上也是如此。 以下是解决此问题的主要方式
选择具有更多参数的更强大的模型。为学习算法提供更好的特征特征工程。减少对模型的约束例如通过减少正则化超参数。
1.5.7 总结
机器学习是关于如何让机器更好地完成某些任务的理论它从数据中学习而无须清晰地编写规则。机器学习系统有许多类型有监督和无监督批量的和在线的基于实例的和基于模型的。在机器学习项目中你从训练集中收集数据然后将训练集提供给学习算法。 如果该算法是基于模型的它会调整一些参数以使模型拟合训练集对训练集本身做出良好的预测然后希望它也能够对新实例做出良好的预测。如果该算法是基于实例的那么它会记住样例并根据相似性度量将它们与学习过的实例进行比较从而泛化到新实例。 如果训练集太小或者数据不具有代表性、有噪声或被不相关的特征垃圾进、垃圾出污染那么系统的表现不会很好。最后你的模型既不能太简单这种情况会导致欠拟合也不能太复杂这种情况会导致过拟合。一旦训练了一个模型你就不能只是“希望”它泛化到新实例你还需要评估它并在必要时对其进行微调。
