pytorch学习——基本优化思想与最小二乘法

一、机器学习建模一般流程

• Step 1：提出基本模型

例如线性回归、神经网络模型等。

• Step 2：确定损失函数和目标函数

围绕建模的目标，我们需要合理设置损失函数，并在此基础之上设置目标函数，当然，在很多情况下，这二者是相同的。例如平方误差损失（SSE）等。

• Step 3：根据目标函数特性，选择优化方法，求解目标函数
  例如最小二乘法等。

二、最小二乘法

pytorch可以直接调用**torch.lstsq(B,A)**来实现。

对于lstsq函数来说，第一个参数是因变量张量，第二个参数是自变量张量，并且同时返回结果还包括QR矩阵分解的结果。