JNing

官方定义在周老师的《机器学习》一书 (P3) 中，泛化能力一词定义如下：学得模型适用于新样本的能力，称为 “泛化”（generalization）能力。同理，泛化误差的存在就是为了防止学习器把训练样本学得太好了，导致可能已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质。缺陷因为泛化性能是建立在 主观臆测 的沙雕之上，只是一种 对个人假想的“实际情况”的模拟...

现有的不平衡样本处理现实中采集到的训练样本往往分布不均。如果不加处理而直接训练，往往会使得模型更侧重训练到样本数目较多的类别，而轻视了样本数目较少类别，最终影响到模型的泛化能力。这种问题被称为 “不平衡样本问题”。对应的处理方法包括 数据层面处理方法（数据重采样、类别平衡采样）以及 算法层面处理方法（代价敏感方法）等。问题所在现有的不平衡样本处理，都是 训练 之前，基于 先验信

观察针对不同问题所采集的图片数据集往往具有一定规律性：如果为 平视拍摄（例如普通相机拍摄），那么人们往往倾向于把要关注的事物（如人脸）置于 画面中央 。如果为 -45°俯视拍摄（例如监控摄像机拍摄），那么同类实例（如行人）往往呈现 近大远小 。现有卷积结构设计现有的卷积结构大多 一视同仁 地进行 视野感受：缺陷对整幅图片进行的 无差别卷积 意味着 注意力的

前言这个Idea其实不是我想出来的。实验室师兄参与了一个强化学习竞赛，让仿生人体学会站立行走乃至跑起来。在比赛的过程中他自己用tensorflow设计出了一个 对称性神经网络 ，能保证输出的 最终结果 具有 对称性（具体表现为 输出结果的数值分布 呈现 左右对齐）。讨论师兄问我，如果让我设计这个网络，该如何实现。我想到的是，如果网络结构比较简单的话，保证 每一层的参数分布 左右

观察在 Fast R-CNN 中，网络最后部分的 cls reg （分类回归，即对框内实例进行标签分类）和 bbox reg （边界框回归，即对边界框进行平移回归）采用的是 双分支 并行 结构： 而且在 Faster R-CNN 中照搬了这一结构。甚至在 Mask R-CNN 中，更是将 cls reg 、 bbox reg 和 mask 设计成 三分支 并行 ： 思考...

现有的 网络参数 初始化 方法全零初始化网络参数初始化方法 最粗暴的 莫过于 全零初始化 。顾名思义，所有参数全部初始化为0。想法很好，简便省事儿，还可使得初始化全零时参数的期望与网络稳定时参数的期望一致为0。But，参数全为0，那么同层网络中，所有神经元的输出必然相同。而相同的输出，意味着。。梯度更新完全一样。。。那模型还训练个卵。。。。随机初始化于是最常用的就是 随

基本知识卷积操作 即为 一系列 滤波操作 之和 。 有关卷积的概念，具体可参加我的这篇文章：深度学习: convolution (卷积) 。现有研究Zeiler 和 Fergus 两位大佬在他们获得ECCV2014最佳论文提名奖的论文《Visualizing and Understanding Convolutional Networks》中，就对各卷积层 生成的 feature

设计缺陷人们在关注图像中的生命个体（尤其是人）的时候，关注点 往往 只是目标的脸和手脚 。这部分区域虽小，却给观者提供了对目标个体进行联想的绝大部分信息。现有的图像分割算法 却 只是对均匀权重的像素点阵进行圈地运动 pixel-level segment即便是图像分割算法中常提到的 pixel-level segment（像素级分割），其实 也只是 对均匀权重的像素点阵 进行的 无