9、人工神经网络与卷积神经网络全解析

人工神经网络与卷积神经网络全解析

人工神经网络基础

人工神经网络是一种强大的机器学习模型，它在模拟人类神经系统处理信息的方式上取得了显著进展。在处理复杂函数时，更深层次的模型通常需要更少的参数。例如，在近似一个函数时，更深的网络虽然参数数量大幅减少，但仍能更准确地逼近该函数。

常见的前馈神经网络是全连接前馈神经网络，其特点是每一层的每个神经元都与前一层的所有神经元相连。然而，在处理图像数据时，使用全连接前馈神经网络会面临参数数量过多的问题。即使是较浅的架构，神经元数量也可能非常庞大，使得训练变得难以处理。

线性分类器与损失函数

线性分类器是机器学习中常用的分类方法，它通过寻找一个决策边界来区分不同的类别。但当类别在原始空间中不能通过超平面分离时，分类准确率会显著下降。为了解决这个问题，可以将数据转换到一个新的空间，使得类别在新空间中能够线性可分，这种转换通常是非线性的。

在训练线性模型时，需要使用损失函数来评估模型在训练样本上的分类性能。常见的损失函数包括：
- 0/1损失 ：简单直观，但非凸，优化困难。
- 平方损失 ：计算预测值与真实值之间的平方误差，是凸函数。
- 铰链损失 ：常用于支持向量机，对异常值有较好的鲁棒性。
- 逻辑损失 ：常用于逻辑回归，适用于概率分类问题。

将二元模型扩展到多类模型有两种常见方法：
- 一对一（One - Versus - One） ：为每一对