初识神经网络

注 : 有不准确的地方还望指正

一、起源

• 时间 : 20世纪中叶
• 实际是一种仿生学产品

二、神经网络

• 主要功能 : 分类识别
  分类 : 图像 , 语音 , 文本(自动驾驶 , 语音助手 , 新闻推送)

三、神经网络基本概念与原理

3.1 网络结构

• 单层神经网络
  
• xi , 隐含层 , 输出层 , 学习结果
• x与隐含层进行运算后 , 传到输出层 , 最终得到学习后的y值 , 也就是预测值

3.2 逻辑回归

• 逻辑回归是一种最简化的网络结构
  
• x通过神经元节点的运算 , 得到预测值
• x先经过线性化 , 再经过激励函数 , 得到激励后的预测值

四、激励函数

4.1 作用

• 提供规模化的非线性能力
  
• Sigmoid : 取值区间(0.1) , 优点就是在区间内可导
• tanh : 是Sigmoid函数的中心对称版 , 但是当趋向于比较大或者比较小的数时 , 函数变化比较平缓 , 当进行神经网络运算或者学习时 , 学习效率会极度受到影响
• ReLU : 使用起来效率高 , 但是仍存在问题 , 根据需求进行选择

五、损失函数

• 第一个y是学习值 , 第二个y是标准值
  

• 损失函数 : 判断学习后的函数值与标准值之间的差异
  

六、逻辑回归中的梯度下降

6.1 概念

• 通过一种渐进式的方式调整整个函数的形态

6.2 调整流程

• 通过神经元节点的运算 , 得到学习值
• 通过损失函数反馈出学习值与标准值的差异
• 通过损失函数对w与b进行求导 , 找到函数变化的方向
• 在此方向上寻找一个极小值 , 调节w与b值 , 从而使得学习值与标准值差异最小
  
• :=是指同步更新
  

七、网络向量化

• 逻辑回归
  
• 转化成向量形式
  
  带入w与b值
  
• 转化成公式
  
• 转成最终公式
  

八、网络梯度下降

• 通过运算结果逆向调节每层的w与b , 从而使神经网络的函数链条达到最佳的状态
  

• 通过以下的公式进行调整

本文章参考课程链接
https://www.imooc.com/video/16306