集成学习之Xgboost(15)|python教程|python入门|python教程

当前位置:

本站最新发布 Python从入门到精通|Python基础教程
试听地址 https://www.xin3721.com/eschool/pythonxin3721/

q(xi]+γT+12λ∑j=1Tw2j=∑j=1T⎡⎣(∑iϵIjgi)wj+12(∑iϵIjhi)w2j⎤⎦+γT+12λ∑j=1Tw2j=∑j=1T⎡⎣(∑iϵIjgi)wj+12(∑iϵIjhi+λ)w2j⎤⎦+γT(8)(9)(10)(11)

\begin{aligned} (8) & O b j^{(t)} & ≃ \sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i})] + Ω (f_{t}) \\ (9) & = \sum_{i = 1}^{n} [g_{i} w_{q (x_{i})} + \frac{1}{2} h_{i} w_{q (x_{i}}^{2}] + γ T + \frac{1}{2} λ \sum_{j = 1}^{T} w_{j}^{2} \\ (10) & = \sum_{j = 1}^{T} [(\sum_{i ϵ I_{j}} g_{i}) w_{j} + \frac{1}{2} (\sum_{i ϵ I_{j}} h_{i}) w_{j}^{2}] + γ T + \frac{1}{2} λ \sum_{j = 1}^{T} w_{j}^{2} \\ (11) & = \sum_{j = 1}^{T} [(\sum_{i ϵ I_{j}} g_{i}) w_{j} + \frac{1}{2} (\sum_{i ϵ I_{j}} h_{i} + λ) w_{j}^{2}] + γ T \end{aligned}

这里的 $w_{q (x}$ 描述了一整颗树的模型，因此能分解成每个叶子结点的集合，而 $w_{j}$ 刚好是每个叶子节点的得分函数，即 $w_{j}$ 为第 $j$ 个叶子节点的得分值，这两个可以相互转化。其中 $T$

栏目列表

python入门教程之集成学习之Xgboost(15)