《TensorFlow 2.0深度学习算法实战教材》学习笔记（二、回归问题和分类问题）

回归问题

解析解与数值解

• 解析解：通过严格的公式推导出的精确解称为解析解(Closed-form Solution)。但是对于多个数据点(𝑛 ≫ 2)的情况，这时很有可能不存在解析解，我们只能借助数值方法去优化(Optimize)出一个近似的数值解(Numerical Solution)
• 数值解：是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果, 而不能随意给出自变量并求出计算值。
• 数值解是在特定条件下通过近似计算得出来的一个数值，而解析解为该函数的解析式解析解就是给出解的具体函数形式，从解的表达式中就可以算出任何对应值；数值解就是用数值方法求出解，给出一系列对应的自变量和解。

梯度

函数的梯度(Gradient)定义为函数对各个自变量的偏导数(Partial Derivative)组成的向
量。

回归定义

对于预测值是连续的实数范围，或者属于某一段连续的实数区间，我们把这种问题称为回归(Regression)问题。特别地，如果使用线性模型去逼近真实模型，那么我们把这一类方法叫做线性回归(Linear Regression，简称LR)，线性回归是回归问题中的一种具体的实现。

分类问题

每一张图片的计算流程是通用的，我们在计算的过程中可以一次进行多张图片的计算，充分利用CPU 或GPU 的并行计算能力。一张图片我们用shape 为[h, w]的矩阵来表示，对于多张图片来说，我们在前面添加一个数量维度(Dimension)，使用shape 为[𝑏, ℎ, 𝑤]的张量来表示，其中的𝑏代表了batch size(批量)；多张彩色图片可以使用shape 为[𝑏, ℎ, 𝑤, 𝑐]的张量来表示，其中的𝑐表示通道数量(Channel)，彩色图片𝑐 = 3。通过TensorFlow 的Dataset 对象可以方便完成模型的批量训练，只需要调用batch()函数即可构建带batch 功能的数据集对象。

分类问题的优化目标函数和评价目标函数是不一致的。