VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • 集成学习之Xgboost(10)

x−a)n(x−a)n的高阶无穷小。

泰勒二阶展开:

f(x+Δx)≃f(x)+f′(x)Δx+12f″(x)Δx2

 

8. Xgboost的泰勒展开推导过程

对应到Xgboost的目标函数里头:

Obj(t)=∑i=1nl(yi,yi^(t−1)+ft(xi))+Ω(ft)+constant

 

忽略损失函数l中的yi(因为上面说的“ 在第t步,yi是真实值,即已知 ”,所以不影响后续目标函数对yi^(t−1)的偏导计算),做下一一对应:

泰勒二阶展开f 里的x对应目标函数里的yi^(t−1);

f 里的Δx对应目标函数的ft(xi);

从而