ncnn是一个手机端神经网络前向计算框架，新版本进行了int8量化工具和推理计算架构的重构，提升了int8模型的推理速度。作者添加了arm neon汇编优化，支持多种量化策略和多输入模型量化，同时改进了多线程效率和内存布局。ncnn 20210507版本还包含了其他数学函数优化、x86卷积优化等更新。
ncnn是腾讯开源为手机端极致优化的高性能神经网络前向计算框架。
仰赖ncnn社区开发者的贡献，ncnn在2019年年初便已实现int8模型量化和推理。但因后来失去社区开发者的持续投入，ncnn的int8量化推理效率迟迟没有加速。
ncnn github issue区大家关于int8量化后速度的质疑：
引用zhihu用户John Hexa关于《如何看待国内开源项目的不可持续性？》的一段回答：
“开源的生命力并不在于“开源”，而在于为人类好好的、真正的解决掉一个问题。
不是自己提供一个半成品，指望别人完成成品。
而是自己要提供一个成品，让别人可以完成更好的成品。
不是自己提出一个问题，指望别人给你答案。
而是自己给出一个答案，让别人可以找到更好的答案。”
本以为，ncnn的开发者社区足够活跃，可以等到一位愿意为ncnn优化加速int8计算的贡献者。
这确实是我错了。
本次20210507版本，ncnn的int8量化工具和整个int8推理计算架构被进行了彻底重构，作者删除了老旧的ker
最低0.47元/天 解锁文章
扫一扫
3441
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
