leibaojiangjun1的博客

Caffe使用blob存储、交换、操纵这些信息。blob是整个框架的标准的数组结构和统一存储接口。Blob是Caffe处理和传输的真实数据的包装类，同时它还隐含提供了在CPU和GPU之间同步数据的能力。在数学上，一个blob就是一个4维的数组，它是按照c语言风格存储的，即行优先。由于我们经常对blob的值和梯度感兴趣，所以blob存储了２块data和diff.前者是正常的传输数据，后者是网络计

导入需要用到的模块，layer和paramsimport caffefrom caffe import layers as Lfrom caffe inport params as P1. 数据层：作为每一个模型的最底层，caffe可以读取不同格式的数据，包括lmdb,leveldb,HDF5,原始图片，还可以直接自己定义输入格式(1). lmdb/leveldb 格式的数

基本的朴素贝叶斯方法：假设我们面对的是一个分类问题，一个样本点的特征向量和类别标签为：我们期望在知道x的情况下得到y=cj的概率，即：如果我们想要具体的知道这个样本属于哪一类别的概率最大，即需要求解最大的后验概率：先验概率为：条件概率为：朴素贝叶斯方法做了条件独立性假设，于是可以有：以上的条件独立假设等于说是用于分类的特征

K近邻法（KNN）是一种基本的分类和回归的方法，KNN的基本思想是给出一定数量带有标签的训练样本，使用这些训练样本将特征空间划分成许多的子空间，当一个新的测试样本进来以后，这个测试样本一定会落在一个超矩形区域内部，然后找到距离这个测试样本最近的K个训练样本，用这些训练样本的标签去投票，票数最多的类别就是这个测试样本的类别。KNN的三个要素：K值选择，距离度量，分类决策规则。算法描述：

感知机于1957年由Rosenblatt提出，是一种线性分类模型，属于判别模型，直接学习判别函数，是神经网络和支持向量机的基础。对于感知机的学习推导首先要知道他的模型是什么，然后是学习策略（损失函数），最后是学习算法。1.    感知机的模型（假设空间）：其中符号函数为：2.     感知机的学习策略（损失函数）：首先超平面为：点到超平面的距

统计学习的基本假设：X和Y具有联合概率分布，并且训练数据与测试数据被看作是依据联合概率分布独立同分布产生的。（测试数据和训练数据独立同分布，才可能由学习到的模型去预测未来的数据）。统计学习的三个要素：模型： 监督学习过程中，模型就是所要学习的条件概率分布或者决策函数（你要学习到什么样的模型）策略： 按照什么样的准则学习或者选择最优模型。（有了模型的类型，按照什么方式来计算这个模型，

过拟合和欠拟合是每一个学习机器学习的人必须要了解的，大概是机器学习中最重要最基本的一个概念，但是到底什么是过拟合？可能很多了解机器学习的人直接会说是样本太少了，模型太复杂，导致泛化能力太弱。     没问题，但是好像还是没有从根本上解释为什么会这样。最近看了很多这方面的资料，感觉有一种解释还是比较的彻底：首先机器学习有一个很重要的假设：训练样本跟测试样本独立同分布，但是这仅仅是一个假设，实际是