23、非线性回归与实际应用中的回归分析

非线性回归与实际应用中的回归分析

1. 支持向量回归（SVR）

支持向量回归（SVR）基于支持向量机（SVM）的相同原理，当因变量为数值型而非类别型时，SVR 是 SVM 的适配形式。其主要优点之一是它属于非参数技术。

构建 SVR 模型时，会用到核函数，常见的核函数有：
- 线性
- 多项式
- Sigmoid
- 径向基

这种技术允许在不改变解释变量的情况下拟合非线性模型，有助于更好地解释结果模式。在 SVR 中，只要误差（ε）保持在一定值以上，就无需担心预测问题，这被称为最大间隔原理，使得 SVR 可视为凸优化问题。此外，还可以使用成本参数对回归进行惩罚，这有助于避免过度拟合。

要执行 SVR，可以使用 e1071 包中的 svm() 函数，该包包含用于潜在类别分析、短时傅里叶变换、模糊聚类、SVM、最短路径计算、袋装聚类、朴素贝叶斯分类等的多个函数。以下是该包的部分信息：

包名	日期	版本	标题	作者
e1071	2017 年 2 月 2 日	1.6 - 8	维也纳工业大学统计与概率论系（原 E1071）的杂项函数	David Meyer, Evgenia Dimi