深度学习笔记4：线性回归+基础优化方法

线性回归

应用：如何在美国买房（房价预测问题）

房价预测

一个简化模型

• 假设1：影响房价的关键因素是卧室个数、卫生间个数、居住面积，记为x₁，x₂，x₃

• 假设2：成交价是关键因素的加权和（权重和偏差的实际值在后面决定）

  

线性模型

• 给定n维输入x = [x₁ , x₂ , …, x_n ]^T

• 线性模型有一个n维权重和一个标量偏差w = [w₁ ,w₂ , …,w_n ] ^T , b

• 输出是输入的加权和y = w₁x₁ + w₂x₂ + … + w_n x_n + b

  向量版本：y = ⟨w, x⟩ + b

线性模型可以看做是单层神经网络

神经网络源于神经科学

衡量预估质量

• 比较真实值和预估值，例如房屋售价和估价

• 假设y是真实值，ŷ是估计值，我们可以比较

  

  这个叫做平方损失

训练数据

• 收集一些数据点来决定参数值（权重和偏差）例如：过去6个月卖的房子
• 这被称之为训练数据
• 通常越多越好
• 假如我们有n个样本，记[外链图片转存失败,源站可能有防盗链机制,建议将

参数学习

• 训练损失

  

• 最小化损失来学习参数

  

显式解

• 将偏差加入权重

  

• 损失是凸函数，所以最优解满足

  

总结

• 线性回归是对n维输入的加权，外加偏差
• 使用平方损失来衡量预测值和真实值的差异
• 线性回归有显式解
• 线性回归可以看做是单层神经网络

基础优化方法