支持向量机（非线性模型）——改写优化目标函数和限制条件

SVM 处理非线性

1. 最小化：

   \displaystyle \dfrac{1}{2}||W||^2 + C\sum_{i=1}^{N}\xi_i\\ 其中 \xi 为松弛变量 ( Slack Variable )

2. 限制条件：
   (1)

   y_i[W^TX_i + b]\geq 1- \xi_i\\

   (2)

   \xi_i \geq0

\xi_i的作用：

使限制条件 (1) 在非线性条件下成立

目标函数中C 的作用：

1.如果\xi_i特别大，无论y_i和 X_i如何取，条件 ( 1 ) 都成立，所以整个优化问题将变得非常发散。所以，我们在目标函数\xi_i前面添加一个系数C，用来限制\xi_i的大小。
2.最小化||W||, 从而使间隔最大化。

正则项 ( Regulation Term )

\displaystyle C\sum_{i=1}^{N}\xi_i 为正则项

正则项作用：使整个目标函数变得更规范化，即原来在非线性条件下无解问题转化成有解问题。 或者在其他条件下可能有解，但解不是我们想要的，我们此时也需要加一个正则项，将解变成我们想要的。

其中C是我们事先设定的参数。

本作品采用《CC 协议》，转载必须注明作者和本文链接