evolone的专栏

**激活函数之S型函数** Sigmoid函数： Sigmoid函数的导数推导： 可见，处处可导。

五、Cambricon-X Cambricon-X是针对稀疏系数的矩阵计算架构。 深鉴科技的韩松等人的研究发现，可以将传统的深度学习网络模型的许多权重系数去掉，甚至能去掉90%以上，而并不影响模型的计算精度。如下图所示。 目前的深度学习模型的权重系数太多，造成需要的乘法计算非常多，计算时间长，速度慢。 相信，未来的模型会更加复杂，需要的计算更多，时间更久。 未来把模型进行系数删减，就...

四、ShiDianNao ShiDianNao的出现是寒武纪在深度学习处理器上细分领域的更加深入。 前面介绍的DianNao针对的是大部分的深度学习神经网络算法，包括CNN和RNN等。 目前比较火而且应用面非常广的领域是计算机视觉，若在这个领域的算法精度实现巨大突破，那么，就将开启广阔的应用领域。比如自动驾驶/安防等等，利润丰厚的领域。 图像识别，这类算法主要采用CNN结构。 于是乎，开...

三、PuDianNao 上面的DianNao和DaDianNao，其实内部处理逻辑可以说是一样的。 这种架构，只能适用特定的算法类型，比如深度学习（CNN，DNN，RNN）等。 但是，深度学习只是机器学习中的某一类，整个机器学习，有很多其他种类的算法，和深度学习的不太一样，甚至经常用到除法等计算类型。这些算法，目前的应用范围也很广。 为了加快常用机器学习算法的运算，寒武纪又设计出专门针对这...

二、DaDianNao DaDianNao的诞生稍晚于DianNao，同样也是在2014年。（这里仅仅指论文发表时间） 如果把DianNao看作是嵌入式终端使用的处理器，那么DaDianNao就是服务器上用的大规模高性能处理器。 DaDianNao其实就是采用的DianNao的NFU作为内核，然后在一块芯片上同时放置了16个NFU，于是乎，性能也就是DianNao的16倍。 文章说，在Da...

国内人工智能处理器独角兽寒武纪，在这个领域，算是走在了世界前沿，经过最近几年的迅猛发展，取得了辉煌的成果。 最近花了些时间研究了下寒武纪发表的一系列论文中介绍的NPU的结构。 记录下来，算是对最近学习内容的总结。寒武纪从2014年开始，发表了一系列的论文，本文仅分析其中几篇： （1）DianNao: A Small-Footprint High-Throughput Accelerato...

商汤科技2017年发表了一篇论文：Evaluating Fast Algorithms for Convolutional Neural Networks on FPGAs. 商汤科技的这篇论文，利用论文Fast Algorithms for Convolutional Neural Networks中研究的winograd算法大量减少乘法操作的优点，应用到卷积计算中去。 总体来说，商汤科技的...

前言（作者原创，未经允许不得转载。）最近在研究人工智能芯片架构，反复分析了谷歌公开的TPU （ Tensor Processing Unit） 专利，从中获得些许感悟，记录下来，以备之后查看，也方便广大知友查阅。特此感谢谷歌的分享。其实人工智能从06年深度学习的出现，就踏上了再次崛起之路。如果说，IMGNET的举办是快速推进深度学习的发展，让深度学习在图像识别领域大火特火。那...

1.工作内容 算法研究、机器学习、数据挖掘模型设计2.掌握知识 数理统计、数学算法、程序设计、机器学习、数据挖掘、分布式系统3常见内容总结： 假设检验 线性模型、非线性模型 蒙特卡洛决策树 SVM、ANN online optimization（FTRL、online Rank-SVM） 图论4.书籍名称 矩阵分析 http://book.douban.com/subject/1

二、ESE这篇论文，将上文的Deep Compression技术在FPGA上具体实现。 为了达到更高的效率，本文从三个层次提高计算效率：算法优化，编译高效的调度程序，硬件加速。如Figure 2所示。 本文设计的语音识别系统中，最占用运算资源和存储资源的是LSTM算法。故本文着重优化LSTM算法的计算。 LSTM算法的数据流如图Figure 4所示。的确比较复杂。其中涉及到许多的...