10、二元分类模型的神经网络架构

二元分类模型的神经网络架构

1. 机器学习模型概述

机器学习模型主要分为两类：
- 监督模型 ：主要对应线性模型及其变体，包括最小二乘回归、支持向量机和逻辑回归等，还会研究这些模型的多类变体。
- 无监督模型 ：主要对应降维和矩阵分解。像主成分分析等传统方法也可以表示为简单的神经网络架构。这些模型的微小变化可以实现具有不同特性的降维。神经网络框架还提供了一种理解不同无监督方法（如线性降维、非线性降维和稀疏特征学习）之间关系的方式，从而提供了传统机器学习算法的综合视图。

2. 章节组织

后续内容将按以下结构展开：
- 讨论一些基本的分类和回归模型，如最小二乘回归、二元Fisher判别、支持向量机和逻辑回归。
- 探讨这些模型的多类变体。
- 介绍神经网络的特征选择方法。
- 讨论自编码器在矩阵分解中的应用。
- 作为简单神经网络架构的具体应用，介绍word2vec方法。
- 引入在图中创建节点嵌入的简单方法。
- 进行总结。

3. 二元分类模型的神经网络架构

在这部分，我们将讨论一些机器学习模型（如最小二乘回归和分类）的基本架构。这些对应的神经网络架构是机器学习中感知机模型的微小变体，主要区别在于最后一层使用的激活函数和这些输出使用的损失函数。

我们将使用一个具有d个输入节点和一个输出节点的单层网络。从d个输入节点到输出节点的连接系数表示为W = (w1 … wd)。此外，偏差不会明确显示，因为它可以无缝建模为一个值恒为1的额外虚拟输入的系数。