牛客题解 | Pegasos核SVM实现

题目

题目链接

Pegasos核SVM实现（Pegasos Kernel SVM Implementation）是SVM的一种实现方式。
Pegasos是一种高效的支持向量机（SVM）实现，具有以下特点：

1. 随机梯度下降：Pegasos使用随机梯度下降（SGD）方法进行优化，适合大规模数据集。
2. 核函数支持：支持线性核和RBF核，能够处理非线性可分问题。
3. 正则化：通过引入正则化参数（lambda_val）来防止过拟合，提高模型的泛化能力。
4. 权重更新：仅对不满足约束条件的样本进行权重更新，减少计算量。
5. 迭代更新：通过多次迭代更新权重和偏置，逐步收敛到最优解。
   本题大体上也和SGD的实现方式相同，不过有线性核和RBF核两种核函数。
   线性核的公式为
   $$K(x,y)=x\cdot y$$
   RBF核的公式为
   K ( x , y ) = e − ∣ ∣ x − y ∣ ∣ 2 2 σ 2 K(x, y) = e^{-\frac{||x - y||^2}{2\sigma^2}} K(x,y)=e−2σ