Caffe 源码（二） —— common 文件

caffe 源码 —— common.hpp/cpp

这里主要是对 caffe 框架源码进行梳理与学习（ 主要是 CPU 模式下的，所以暂时还不涉及 CUDA，cudnn 编程），不同时期回看源码收获不同，水平有限，如有错误之处还请留言指正交流。

首先的切入点就是 common.hpp, 其包含在 blob.hpp 和 layer.cpp 头文件中，而 blob.hpp 和 layer.cpp 这两者基本被框架所有网络相关层包含，所以可见 common.hpp 于 caffe 的重要性。

概括来说包含了以下内容：

• 宏定义 ： 主要用来实例化类模板
• 全局初始化函数 ： 初始化 gflags 和 glog
• Caffe 类（单例模式类） ： 随机数生成

下面我们就结合 common.cpp 来集体说说以下内容。

1. 宏定义

这里的宏定义主要是实例化制定的类模板。 caffe 主要使用了 float 和 double 两种精度的数据类型，所以在网络相关功能定义时都是使用了泛型模板编程，而在这里用 INSTANTIATE_CLASS(classname) 进行实例化。

#define INSTANTIATE_CLASS(classname) \
  char gInstantiationGuard##classname; \
  template class classname<float>; \
  template class classname<double>

相似的还有：

#define INSTANTIATE_LAYER_GPU_FORWARD(classname) \
  template void classname<float>::Forward_gpu( \
  const std::vector<Blob<float>*>& bottom, \
  const std::vector<Blob<float>*>& top); \
  template void classname<double>::Forward_gpu( \
  const std::vector<Blob<double>*>& bottom, \
  const std::vector<Blob<double>*>& top);

上面是实例化了 GPU 模式下的前向操作类，同理还有反向操作类。这里还有一个值得一提是：

#define DISABLE_COPY_AND_ASSIGN(classname) \
private:\
  classname(const classname&);\
  classname& operator=(const classname)

这是将类的拷贝构造函数和赋值构造函数设置成 private，禁止指定类的拷贝和赋值操作来初始化另一个类

2. 全局初始化函数

函数声明： void GlobalInit(int* pargc, char*** pargv)
功能：初始化 gflags 和 glog
源码（部分）：

void GlobalInit(int* pargc, char*** pargv) {
  // Google flags.
  ::gflags::ParseCommandLineFlags(pargc, pargv, true);
  // Google logging.
  ::google::InitGoogleLogging(*(pargv)[0]);
}

3. Caffe 类（单例模式）

Caffe 类是一个懒汉模式的单例模式，简而言之即 Caffe 类将自己的构造函数设置成 private，这样程序就只能通过唯一的成员函数来初始化实例，在创建实例前做一个判断，只有当前不存在实例时才创建，这就保证了程序中只会有一个caffe 类的实例，这就是单例模式，这种使用时候才进行创建就是所谓的懒汉模式。这里我写了一个简单版的示例：

class Caffe_demo { // 懒汉单例的 Caffe_demo 类
public:
	~Caffe_demo(); // 析构函数
	Caffe_demo* Get() {  // 创建实例的唯一接口
		if (nullptr == m_caffe) {  // 如果
			m_caffe = new Caffe_demo();
		}
		return m_caffe;
	}

	class RNG {
		//......
	};
	// 其他内容....

private:
	Caffe_demo(); // 构造函数
	DISABLE_COPY_AND_ASSIGN(Caffe_demo); // 宏定义，见 1. 宏定义 部分
	static Caffe_demo * m_caffe; // 静态变量
};

Caffe_demo * m_caffe = nullptr;

这里的其他内容是一些，查询设备号，设置设备等功能，这里就不展开叙述了。下面的重点是包含在 Caffe 类中的 RNG 类, 随机数生成器（Random Number Generator），这个类是对 Boost库 和 CUDA 中随机数生成器的一个包装，对外以 RNG 类统一显示，首先引用知乎上一段关于随机数生成的回答：

随机数在caffe中是非常重要的，最重要的应用是权值的初始化，如高斯、xavier等，初始化的好坏直接影响最终的训练结果，其他的应用如训练图像的随机crop和mirror、dropout层的神经元的选择。

然后在 RNG 作为一个统一的接口，并不是直接通过 RNG 的成员函数来实现，而是内部又复合了另一个私有 Generator 类，用于随机数的生成，即调用需要通过三级的关系。

void* Caffe::RNG::generator() {
  return static_cast<void*>(generator_->rng());
}

这里的 rng() 类的定义中给了两个接口，是通过 Generator 类的构造函数实现的：

class Caffe::RNG::Generator {
 public:
  Generator() : rng_(new caffe::rng_t(cluster_seedgen())) {} // boost 随机生成器
  explicit Generator(unsigned int seed) : rng_(new caffe::rng_t(seed)) {} // 采用给定的种子初始化
  caffe::rng_t* rng() { return rng_.get(); } // 属性
 private:
  shared_ptr<caffe::rng_t> rng_; 
};

一个是可以认为设定随机种子 explicit Generator(unsigned int seed) ，如果固定随机种子，每次就可以获取相同的随机数结果，还有就是默认的无随机数种子的 Generator() ，就采用默认的 boost 库的随机函数进行随机数生成。这里的 rng_t 其实就是 boost 库随机数的返回形式，见 rng.hpp 中：

typedef boost::mt19937 rng_t;

而这里都使用了智能指针进行管理，且 Caffe 实例中也是使用了 boost::thread_specific_ptr 这类特殊指针，其行为类似于智能指针，智能管理线程，当线程退出时，自动释放资源。

rng.hpp

这里基于上述 common.hpp 的分析，caffe　框架下 include/util 中还包含了名为 rng.hpp 的头文件，其中主要是基于 RNG 类的随机生成数，再将它们混合，来达到充分随机。使用的是 Fisher–Yates shuffle 算法，其是用来将一个有限集合打乱的算法，这个算法生成的随机排列是等概率的，同时需要非常高效。

inline rng_t* caffe_rng() { // 获取 RNG 类的随机数
  return static_cast<caffe::rng_t*>(Caffe::rng_stream().generator());
}

// 使用 Fisher–Yates algorithm 算法对随机数进行混洗
template <class RandomAccessIterator, class RandomGenerator>
inline void shuffle(RandomAccessIterator begin, RandomAccessIterator end,
RandomGenerator* gen) {
  typedef typename std::iterator_traits<RandomAccessIterator>::difference_type
  difference_type;
  typedef typename boost::uniform_int<difference_type> dist_type;

  difference_type length = std::distance(begin, end);
  if (length <= 0) return;

  for (difference_type i = length - 1; i > 0; --i) {
    dist_type dist(0, i);
    std::iter_swap(begin + i, begin + dist(*gen));
  }
}