SIFT ：scale invariant feature transformHOG：histogram of oriented gradients这两种方法都是基于图像中梯度的方向直方图的特征提取方法。1. SIFT 特征     实现方法：    SIFT 特征通常与使用SIFT检测器得到的感兴趣点一起使用。这些感兴趣点与一个特定的方向和尺度（scale）相关联。通

近些年来，深度卷积神经网络（DCNN）在图像分类和识别上取得了很显著的提高。回顾从2014到2016这两年多的时间，先后涌现出了R-CNN，Fast R-CNN, Faster R-CNN, ION, HyperNet, SDP-CRC, YOLO,G-CNN, SSD等越来越快速的监测方法。

最近基于深度学习的图像分割技术一般依赖于卷积神经网络CNN的训练，训练过程中需要非常大量的标记图像，即一般要求训练图像中都要有精确的分割结果。对于图像分割而言，要得到大量的完整标记过的图像非常困难, 因此使用弱监督学习可以克服这个问题。

神经网络和卷积神经网络的基础知识1, Michael Nielsen写的在线教程 http://neuralnetworksanddeeplearning.com/介绍了神经网络的基本结构，有例子展示为何神经网络可以学习任何函数，为什么传统的深度学习很慢等。还提供了基于Theano的用于MNIST手写数字的识别的例子代码。2, 斯坦福大学的深度学习课程 http://cs231n.github.i

CRF（Conditional Random Field）是图像分割中很常用的后处理算法。在《全卷积网络（FCN）与图像分割 》这篇博文中提到，FCN可以得到较好的分割结果，Chen, Liang-Chieh, et al. 2014在其基础上使用fully connected CRF得到了更好的效果，但是FCN的步骤和CRF的步骤是分开的。Zheng et al 2015将fully connec

与传统用CNN进行图像分割的方法相比，FCN有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。

先概括一下深度学习的几大流行的框架：Pylearn2, Theano, Caffe, Torch, Cuda-covnet，Deeplarning4j等。Theano是一个Python库，也是一个强大的数学表达式编译器。Pylearn2是在Theano基础上建立的机器学习库。用户可以用数学表达式写Pylearn2的插件(新的model, algorithm等), Theano将这些表达式进行优化和稳定化，然后进行编译。

一，前言卷积神经网络（Constitutional Neural Networks, CNN）是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。先回顾一下多层神经网络: 多层神经网络包括一个输入层和一个输出层，中间有多个隐藏层。每一层有若干个神经元，相邻的两层之间的后一层的每一个神经元都分别与前一层的每一个神经元连接。在一般的识别问题中，输入层代表特征向量，输入

对于医学图像而言，得到大规模的训练数据是比较不容易的，那么可否使用Transfer Learning利用现成的ImageNet的图像来帮助医学图像的识别呢？ImageNet里面的图像（二维，彩色）没有医学图像，包含一些诸如鸟类、猫、狗、直升机等物体的识别，与医学图像（二维或三维，非彩色）相差很大。如果回答是肯定的话，是一件令人非常振奋的事情。

神经网络的训练过程，就是通过已有的样本，求取使代价函数最小化时所对应的参数。代价函数测量的是模型对样本的预测值与其真实值之间的误差，最小化的求解一般使用梯度下降法（Gradient Decent）或其他与梯度有关的方法。其中的步骤包括：初始化参数。求代价函数关于参数的梯度。根据梯度更新参数的值。经过迭代以后取得最佳参数，从而完成神经网络的训练。

一，最大似然估计与隐变量期望值最大化算法是用来对包含隐变量的样本点的分布函数的参数估计方法。在参数估计中常常通过最大似然函数进行估计，由于隐变量的存在，不能直接求解这个最大似然函数，期望值最大化算法就是将这个最大似然函数的求解问题转化为求解其下界的最大值的问题，通过一个求隐变量的分布的“期望值”步骤和一个求似然函数最大化的“最大值”步骤完成。假如有一批训练样本Xi （i=1,2,..I

随着计算机计算能力的增强和大批量医学图像的涌现，机器学习技术在医学图像处理领域的应用已获得越来越多的关注。其思想是通过计算机对大批量训练数据的统计学习，来预测新的待处理图像的相关信息。关于统计学习，推荐一本Hastie的2009年的一本书: The Elements of Statistical Learning: Data Mining, Inference and Prediction (pd

决策树是机器学习中非常经典的一类学习算法，它通过树的结构，利用树的分支来表示对样本特征的判断规则，从树的叶子节点所包含的训练样本中得到预测值。决策树如何生成决定了所能处理的数据类型和预测性能。主要的决策树算法包括ID3，C4.5， CART等。1，ID3ID3是由 Ross Quinlan在1986年提出的一种构造决策树的方法。用于处理标称型数据集，其构造过程如下：输入训练数据是一组带

三年前的Mac到手后一直懒得做更新，主要是因为系统升级后一些有依赖的软件都需要更新，有时还挺容易出问题。为了安全稳定起见，OSX 10.9系统就被我用了三年。但是，这么久不更新实在跟不上潮流了，最近想安装TensorFlow，结果我这么旧的系统被它鄙视并且拒绝了，只好趁着假期把系统更新一下。结果一更新，原来的caffe就用不了，编译过程出现了些问题，本博文记录了这些问题和对应的解决方案。更新后...