网站月流量是什么意思,怎样开始学做自媒体,wordpress祖册,广告设计公司清晨必发图片熵 信息增益
信息增益描述的是在分叉过程中获得的熵减#xff0c;信息增益即熵减。
熵减可以用来决定什么时候停止分叉#xff0c;当熵减很小的时候你只是在不必要的增加树的深度#xff0c;并且冒着过拟合的风险 决策树训练(构建)过程 离散值特征处理#xff1a;One-Hot…熵 信息增益
信息增益描述的是在分叉过程中获得的熵减信息增益即熵减。
熵减可以用来决定什么时候停止分叉当熵减很小的时候你只是在不必要的增加树的深度并且冒着过拟合的风险 决策树训练(构建)过程 离散值特征处理One-Hot编码
一个具有 N 个取值的离散特征可以转换为 N 个二进制特征每个二进制特征对应一个可能的取值。 连续值特征处理
计算不同阈值的熵减选取熵减最大的阈值作为分叉阈值 回归树
回归树用来预测一个连续值训练时跟决策树的区别是训练时最小化方差而决策树是最大化熵减 集成树
单个决策树的一个缺点是对数据的变化比较敏感我们需要尝试降低树的敏感度提高鲁棒性此时我们可以构建集成树即一组决策树 有放回抽样(sample with replacement)
从训练集中随机取出一个之后放回确保它在后续抽取中仍有可能被再次抽到。 随机森林
利用有放回抽样我们可以连续抽样并组成新的训练集使用新的训练集训练一棵新的树。重复该行为可以生成多棵树称为随机森林。
如果有 n 个特征一般要生成 棵树 XGBoost
对随机森林的提升从第二次迭代开始不是等概率随机抽样而是让上一轮预测错误的样本有更大的概率被抽样到以类似错误修正的方式训练树。 决策树与神经网络的选择
决策树在结构化数据下可用非结构化数据不推荐可解释
