深度学习笔记

Linear Model 可能太过简单,y = b + wx ，x和y的关系就是一条直线，前一天的观看量越大，第二天预测的就会越大，但是现实有可能不是这样的，也许x和y之间有更复杂的关系

Model Bias

我们永远无法用Linear Model，预测出图中红色的变化趋势，因为Linear Model是线性模型，这种来自于模型的限制叫做 Model Bias

上图中红色曲线可以看作是一个常数+若干个 piecewise linear curve（分段线性曲线）
如果红色的曲线越复杂，所需要的蓝色的分段线性曲线就越多
如果我们现在要考虑的x和y的关系不是由若干个 piecewise linear curve 组成的，而是一个曲线
我们可以先在曲线上找几个点，用直线连接这些点后，连接而成的piecewise linear curve 跟原来的曲线非常接近

理论上来讲，只要我们有足够的 piecewise linear curve ，我们可以拟合出任何连续的曲线
假设现在x和y的关系非常复杂，我们写出一个带有未知数的Function，表示一个常数+一堆piecewise linear curve
现在有一个新的问题：

我们如何写出蓝色式子（Hard Sigmoid）

sigmoid函数：

sigmoid函数的值域在(0, 1)之间

通过sigmoid函数拟合 piecewise linear curve