本站最新发布   Python从入门到精通|Python基础教程
试听地址  https://www.xin3721.com/eschool/pythonxin3721/


T$T$为第t棵树中总叶子节点的个数，Ij$I_j$被定义为每个叶节点 j$j$上面样本下标的集合 Ij=i|q(xi=j)$I_j=i|q(x_i=j)$，即表示i$i$样本落在第j$j$个叶子节点上，这个定义里的q(xi)$q(x_i)$要表达的是：每个样本值xi$x_i$ 都能通过函数q(xi)$q(x_i)$映射到树上的某个叶子节点，从而通过这个定义把两种累加统一到了一起。g是一阶导数，h是二阶导数。这一步是由于xgboost目标函数第二部分加了两个正则项，一个是叶子节点个数(T),一个是叶子节点的分数(w)。

继续把每个叶子节点区域样本的一阶和二阶导数的和单独表示如下：Gj=∑iϵIjgi$G_j=\sum _{iϵI_j}{g}_i$，Hj=∑iϵIjhi$H_j=\sum _{iϵI_j}{h}_i$

最终损失函数的形式可以表示为：

 

 

现在我们得到了最终的损失函数，那么回到前面讲到的问题，如何一次求解出决策树最优的所有J$J$个叶子节点区域和每个叶子节点区域的最优解wj$w_j$呢？

9. XGBoost损失函数的优化求解

关于如何一次求解出决策树最优的所有J$J$个叶子节点区域和每个叶子节点区域的最优解wj$w_j$，可以把它拆分成2个问题：

1) 如果我们已经求出了第t$t$个决策树的