8、机器学习中的回归分析与TensorFlow实现

机器学习中的回归分析与TensorFlow实现

1. 其他损失函数

普通最小二乘法（OLS）有解析解，而最小绝对偏差法（LAD）没有。由于大多数机器学习模型都没有解析解，LAD可以提供一个有指导意义的例子。构建模型、定义损失函数和进行最小化的过程，在后续分析中会不断重复。实际上，执行LAD的步骤只需修改损失函数，就可以应用于任何形式的线性回归。

OLS除了有封闭形式的解之外，还有其他优势。例如，如果满足高斯 - 马尔可夫定理的条件，那么OLS估计量在所有线性无偏估计量中具有最小方差。此外，有大量的计量经济学文献是基于OLS及其变体构建的，这使得它成为相关工作的自然选择。

在经济学和金融领域的许多机器学习应用中，目标往往是进行预测，而不是假设检验。在这些情况下，使用不同形式的线性回归可能更有意义，而TensorFlow可以使这项任务变得更容易。

2. 部分线性模型

2.1 部分线性模型概述

在许多机器学习应用中，我们希望对非线性进行建模，而线性回归模型即使采用之前提到的策略，也无法令人满意地实现这一目标。因此，需要使用不同的建模技术。这里我们将线性模型进行扩展，允许包含一个非线性函数，即“部分线性模型”。这种模型允许某些自变量线性进入，而其他自变量通过非线性函数进入。

在标准的计量经济学应用中，目标通常是进行统计推断，部分线性模型通常由一个感兴趣的变量（线性进入）和一组控制变量（非线性进入）组成。这种模型的目标是对线性进入的参数进行推断。

2.2 部分线性模型的挑战与解决方法

部分线性模型在进行有效的统计推断时存在一些计量经济学挑战。首先，当感兴趣的变