yiran103的专栏

以下内容翻译自：Open-sourcing FBGEMM for state-of-the-art server-side inference Facebook 正在开源　FBGEMM，这是一个针对服务器端推理进行了优化的高性能内核库。 深度学习模型加速会使用低精度计算，与其他常用库不同，FBGEMM 优化了 CPU 上的低精度计算性能。 该库已在 Facebook 部署，它的性能与目前的生...

fb-caffe-exts 是 Facebook 在（主要）生产场景中使用 Caffe 时开发的扩展集合。predictor 是一个简单的 C++ 库，它封装了在共享权重的同时在多个线程中运行 caffe::Net 的常见模式。它还为推理情况提供了一个更方便使用的 API。该库主要由三个部分组成：可多线程调用的基本类 Predictor、线程池版本的 PooledPredictor 以及实现内存复...