lfc2017的博客

（一）以多组不同参数值初始化多个神经网络，去其中误差最小的作为结果 （二）使用“模拟退火”技术 　　模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出局部最小值。在每次迭代过程中，接受’“次优解”的概率要随着时间的推移而逐渐降低，从而保证算法稳定。 （三）使用随机梯度下降 　　每次随机选取一个样本进行梯度下降，在梯度下降时加入了随机因素。即便陷入了局部最小点，它计算出的梯...

支持向量机是一种二分类模型，他的基本模型是定义在特种空间上的间隔最大的线性分类器，间隔最大化使他有别于感知机。支持向量机还包括核技巧，这使他成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化问题。 当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器...

from numpy impor...

虽然我们证明了PLA最终会停下来，但是PLA存在以下几个问题： 1、PLA假设的前提是数据线性可分，但是很多情况下都是线性不可的； 2、即使PLA最终停下来，但是我们并不知道它什么时候会停下来。 由于现实情况的复杂性，我们一般情况下我们几乎找不到完美的线性可分的数据，所以这时候计算机科学家们想到了一个办法，那就是找到一条线，这条线所犯的错误最少，用它来替代精准的线。数学表达式如下： 上...