chang的博客

感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。 一 感知机模型 假设输入空间（特征空间）是 \(\mathcal{X} \subseteq \mathbf{R}^{n}\)，输出空间是 \(\mathcal{Y}=\{+1,-1\}\)，输入 \(x \in ...

recurrent neural network 一 循环神经网络 循环神经网络的主要用途是处理和预测序列数据。 循环神经网络的来源就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上看，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。 循环神经网络按时间展开...

1 TFrecord输入数据格式

接受者操作特征曲线（receiver operating characteristic curve, 或者叫ROC曲线）。 1. 基本概念 分类器是将一个实例映射到一个特定类的过程。roc分析的是二元分类模型。 二元分类模型的个案预测有四种结局： 真阳性（TP）：诊断为有，实际上也有病。 伪阳性（FP）：诊断为有，实际上却没有病。 真阴性（TN）：诊断为没有，实际上也没有病。 伪阴性...

交叉熵，一般用来求目标值与预测值之间的差距。 1. 信息量 信息量是指多少的量度，一般认为发生概率低事件的信息量较大。 一般用log函数来描述，其中I表示信息量 $$ I(x_0) = - log(p(x_0)) $$ 横轴为概率，纵轴为信息量 2. 熵 对于某个事件，有n种可能性，每一种可能性都有一个概率\(p(x_0)\) 而熵就是用来表示所有信息量的期望，即： $$...

一　卷积神经网络简介 全连接神经网络与卷积神经网络结构示意图 全连接神经网络：神经网络每两层之间的所有节点都是有边相连的 卷积神经网络：相邻两层之间只有部分节点相连 卷积神经网络的输入层就是图像的原始像素，而输出层中的每一个节点代表了不同类别的可信度。 使用全连接神经网络处理图像的最大问题在于全连接层的参数太多，参数增多除了导致计算速度减慢，还很容易导致过拟合问题。 ...