程序猿小九九的博客

机器学习第二周笔记1.1单变量回归问题和模型表示1.2代价函数1.3梯度下降1.4梯度下降的线性回归2.1多变量线性回归2.2多变量梯度下降2.3梯度下降的特征缩放2.4梯度下降的学习率2.5正规方程2.6梯度下降与正规方程的比较1.1单变量回归问题和模型表示根据之前的数据预测出一个准确的输出值。比如更具已有的房价数据，预测出1250(平方英尺)的防止对应的房价是220K左右。‘上图既是一个监督学习算法的方式：h表示一个函数，输入值是房屋尺寸大小。h通过输入的x值来得出y值。y则对应房子价格

回归问题与模型表示，线性回归，代价函数，梯度下降，拟合过程。

机器学习第一周笔记 21/5/5机器学习定义1 机器学习 (Machine Learning): 一个程序被认为能从经验 E 中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验 E 后，经过 P 评判，程序在处理 T 时的性能有所提升。用下棋举例，其中：经验E ：就是程序上万次的自我下棋(训练)的经验，任务 T： 就是下棋。性能度量值 P：就是它在与一些新的对手比赛时，赢得比赛的概率。2.1监督学习 （Supervised Learning）：对于数据集中每一个样本都

神经网络基础及规则神经元模型激活函数神经网络模型分类1 .前馈型神经网络（FeedForward NN）2 .反馈型神经网络（FeedBack NN）学习规则1. 赫布学习规则2. 离散感知学习规则3. 连续感知器学习规则：δ规则神经元模型特点：多个输入，单个输出不同输入权重不同多输入累加整合阈值特性激活函数激活函数（Activation Function）：也叫连接函数、传递函数、变换函数或激励函数。用于模拟神经元输出与其激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为

神经网络基础及规则神经元模型激活函数神经网络模型分类1 .前馈型神经网络（FeedForward NN）2 .反馈型神经网络（FeedBack NN）学习规则1. 赫布学习规则（Hebb学习规则）2. 离散感知学习规则3. 连续感知器学习规则：δ规则4. 最小均方学习规则（LMS规则）5. 相关学习规则6. 竞争学习&胜者为王7. 外星学习规则神经元模型特点：多个输入，单个输出不同输入权重不同多输入累加整合阈值特性激活函数激活函数（Activation Function）：

感知神经网络笔记1. 感知器2. 单层感知器：线性分类3. 线性与非线性4. 多层感知器1. 感知器感知器：用于线性可分模式分类的最简单的神经网络模型。其由一个具有可调树突权值和偏置的神经元组成。单层神经网络模型：本质是一个非线性前馈网络。同层内无互连，不同层间无反馈，由上层向下层传递。其输入输出均为离散值，神经元对输入加权求和后，由阈值函数决定其输出。感知器实际上是一个简单的单层神经网络模型，单节点感知器就是MP模型。学习过程：给定一个有输入输出实例的训练集，感知机（学习）一个函数

神经网络基础及规则1. 神经元模型2. 激活函数3. 神经网络模型分类前馈型神经网络（FeedForward NN）反馈型神经网络（FeedBack NN）4. 学习规则赫布学习规则（Hebb学习规则）离散感知学习规则连续感知器学习规则：δ规则最小均方学习规则（LMS规则）相关学习规则竞争学习&胜者为王外星学习规则1. 神经元模型特点：多个输入，单个输出不同输入权重不同多输入累加整合阈值特性2. 激活函数激活函数（Activation Function）：也叫连接函数、传递

1. 感知器2. 单层感知器：线性分类单层感知器的学习算法单层感知器的例子3. 线性与非线性4. 多层感知器多层感知器多层感知器实现异或运算不同隐藏层的MLP的分类能力如下图所示5. 自适应线性单元6. 多层自适应线性网络（MADALINE）7. 误差反向传播算法（BP算法）损失函数优化：梯度下降法BP网络训练步骤激活函数的特点误差曲面存在的问题标准BP算法存在的问题标准BP算法改进：增加动量项标准BP算法改进：自适应调节学习率标准BP算法改进：陡度因子1. 感知器感知器：用于线性可分模式分类的最简.