本站最新发布   Python从入门到精通|Python基础教程
试听地址  https://www.xin3721.com/eschool/pythonxin3721/


(xi,rti)(i=1,2,..m)$(x_i,r_{ti})(i=1,2,..m)$，即{(x1,rt1),...,(xi,rti)}$\{(x_1,r_{t1}),...,(x_i,r_{ti})\}$，拟合一颗CART回归树,得到第t颗回归树。其对应的叶子节点区域为Rtj,j=1,2,...,J$R_{tj},j=1,2,...,J$。其中J为回归树t的叶子节点的个数。

(2.3)对叶子区域j =1,2,..J,计算最佳拟合值：

 

(2.4)更新强学习器：

 

3) 得到最终的回归树，即强学习器f(x)的表达式：

 

从上面可以看出，对于GBDT的第t颗决策树，先是得到负梯度(2.1)，或者是泰勒展开式的一阶导数；然后是第一个优化求解(2.2)，即基于残差拟合一颗CART回归树，得到J个叶子节点区域；再然后是第二个优化求解(2.3)，在第一个优化求解的结果上，对每个节点区域再做一次线性搜索，得到每个叶子节点区域的最优取值；最终得到当前轮的强学习器(2.4)。

从上面可以看出，我们要求解这个问题，需要求解当前决策树最优的所有J个叶子节点区域和每个叶子节点区域的最优解