21、非线性回归与常微分方程求解方法

非线性回归与常微分方程求解方法

1. 非线性回归

1.1 基本概念

在许多实验研究中，我们会得到一组依赖于多个独立变量的实验观测值。假设有 $n$ 个实验观测值，依赖于 $m$ 个独立变量。响应与独立变量之间的关系由非线性函数 $f(X,B)$ 表示，其中 $X$ 表示 $m$ 个独立变量，$B$ 表示 $p$ 个待估计的参数。第 $i$ 个观测值的平方误差或扰动为：
$e_{i}^{2} = (y_{i} - f(x_{i}, B))^{2}$
问题就转化为找到使误差平方和最小的参数，即：
$\min_{B} S(B)$
约束条件为：
$S(B) = \sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - f(x_{i}, B))^{2}$

1.2 线性化处理

通常，为了解决这个问题，会使用泰勒级数对非线性函数 $f(X,B)$ 进行近似，在每个参数 $(b_{i})$ 的已知值附近进行线性化，只取 $f(X,B)$ 关于每个参数 $B_{i}$ 的一阶导数。假设对于接近 $B$ 的 $B_{0}$，$f(X,B)$ 是线性函数：
$f(X, B_{0}) \approx f(X, B) + \sum_{i = 0}^{p - 1} \frac{\partial f(X, B)}{\partial B_{i}} \cdot (b_{0i} - b_{i})$
定义 $Z$、$J$ 和 $d$ 如下：
$Z = \begin{bmatrix} y_{1} \ \vdots \ y_{n} \end{bmatrix} -