德州网站建设,眼科医院网站优化服务商,乐陵新闻最新消息今天,辽宁住房与城乡建设厅网站目录 1.XGBoost推导示意图
2.分裂节点算法
Weighted Quantile Sketch 3.对缺失值得处理 1.XGBoost推导示意图 XGBoost有两个很不错得典型算法#xff0c;分别是用来进行分裂节点选择和缺失值处理
2.分裂节点算法
Weighted Quantile Sketch
对于特征切点点得选择#xff…目录 1.XGBoost推导示意图
2.分裂节点算法
Weighted Quantile Sketch 3.对缺失值得处理 1.XGBoost推导示意图 XGBoost有两个很不错得典型算法分别是用来进行分裂节点选择和缺失值处理
2.分裂节点算法
Weighted Quantile Sketch
对于特征切点点得选择xgboost不单单是采用简单得分位数得方法而是对分位数进行加权(使用二阶梯度h)称为:weighted quantile sketch.
对特征k构造multi-set得数据集:,其中表示样本i得特征k得取值而则为对应得二阶梯度。 式子中分子是x小于z得所有样本对应得h之和(即小于z得样本加权和权重为h)分母为所有样本得加权和。该式子表达了第k个特征小于z得样本比例和分位数相似不过这里是按照二阶梯度进行累计。
而候选切分点要求 即让相邻两个候选分裂点带入中相差不超过某个值由于最终会切分处,如下面例子 选取 1/3会得到三个桶h总和1.8因此.
到这里xgboost得分裂点选择就讲完了然后再基于分裂前后得损失大小去判断选择最终得分裂点即可。但是还有个问题需要解答为什么选择h而不是g或者其他?证明如下 3.对缺失值得处理
xgboost模型得一个优点就是允许特征存在缺失值。对缺失值得处理方式如下
在特征k上寻找最佳split point时不会对该列特征missing得样本进行遍历而只对该列特征值为non-missing得样本上对应得特征值进行遍历通过这个技巧来减少了为稀疏离散特征寻找split point得时间开销在逻辑实现上为了保证完备性会将该特征值missing得样本分别分配到左叶子节点和有叶子节点两种情况都计算一遍后选择分裂后增益最大得那个方向(左分支或右分支)作为预测时特征值确实样本得默认分支方向。如果在训练中没有缺失值而在预测中出现缺失那么会自动将缺失值得划分方向放到右子节点。xgboost常见面试题
珍藏版 | 20道XGBoost面试题_无名氏a的博客-CSDN博客_xgboost面试题
【xgboost】常见面试题_数分面试加油的博客-CSDN博客_xgboost 算法面试题目
