为了压榨CNN模型,这几年大家都干了什么

低功耗IoT设备上跑TinyML:软件栈设计、模型压缩与功耗优化实战 TinyML是边缘AI在资源受限设备上的关键实践,它让机器学习模型得以运行在微安级功耗的MCU上。其原理在于通过量化、剪枝等手段压缩模型体积,并借助专用推理引擎在几十MHz主频下高效执行。这项技术的价值在于将智能决策下沉到端侧,解决网络不可靠、延迟敏感与隐私保护问题,适用于工业预测性维护、可穿戴健康监测等低功耗IoT场景。然而,从模型压缩到功耗感知架构设计,再到OTA升级与生命周期管理,每一个环节都考验着软件栈的工程化能力。本文基于实际项目经验,系统梳理低功耗IoT端侧智能的软件框架、工具链选型与功耗优化思 阅读详情

 

 

 

 

    如果从2006年算,深度学习从产生到火爆已经十年了,在工业界已经产生了很多落地的应用。现在网络的深度已经可达1000层以上,下面我们关注一个问题:

    这些年大家是怎么“压榨”CNN模型的。

 

0?wx_fmt=jpeg

 

 

 

    首先回顾一下几个经典模型,我们主要看看深度和caffe模型大小。

 

0?wx_fmt=png

 

 

 

    当然,在实际应用中,各自调试出的version会有出入,网络的大小也不止和深度有关系,此处想说明的问题是:好像模型大小(参数量)和模型的深浅并非是正相关。

 

0?wx_fmt=jpeg

 

 

 

下面言归正传

 

 

 

 

 

 

 

 

 

 

“

 

 

 

这里要讲的压榨主要是将模型变小,以便在ARM,FPGA,ASIC等存储空间有限的平台应用。

 

从2个方面进行回顾。第一条是经典模型的设计路线,可以看得出本身就在不断压缩模型。第二条是在网络结构基本不变的情况下,对模型参数的压缩。

 

 

 

 

”

 

 

 

 

 

 

 

1 经典模型进阶路

 

 

 

 

 

 

 

 

 

 

 

1 全连接网络到卷积神经网络

 

 

 

 

 

 

 

 

Fully connect to local connect

 

 

 

 

 

 

    这里我们仍然放这张经典的比较图,从最早的全连接神经网络到卷积神经网络本身就是一场大的参数压缩革命。

    按照全连接神经网络的思想,1000×1000的图像,如果隐藏层也是同样大小(1000*1000个)的神经元,那么由于神经元和图像每一个像素连接,则会有参数1000×1000×1000×1000。光是一层网络,就已经有10^12个参数。

    而如果采用卷积神经网络,则由于权值共享,对于同样多的隐藏层,假如每个神经元只和输入10×10的局部patch相连接,则参数为:1000×1000×100,降低了4个数量级。

    至于为什么可以这么做,读者可以自己去关注卷积神经网络的由来,主要原理在于图像的局部patch可以与全图有类似的统计特性。

    这第一招,也是最厉害的一招,一举将神经网络的参数减小许多个数量级,才能有深度学习的发展。

 

0?wx_fmt=png

 

 

 

 

 

 

 

 

2 1×1卷积使用

 

 

 

 

 

 

 

 

NIN

 

 

 

    Alexnet[1]是一个8层的卷积神经网络,有约60M个参数,如果采用32bit float存下来有200M。值得一提的是,AlexNet中仍然有3个全连接层,其参数量占比参数总量超过了90%。

    NIN[2]是一个4层的网络结构,其直接对标对象就是AlexNet,那么为什么模型大小只有前者的1/10呢?

    除了去掉了全连接层外(这也是模型变小的关键),提出了1×1的卷积核,后来被广泛用于GoogLeNet[3]和ResNet[4]。

 

0?wx_fmt=jpeg

 

 

 

    下面举一个例子,假如输入为28×28×192,输出feature map通道数为128。那么,直接接3×3卷积,参数量为3×3×192×128=221184。

    如果先用1×1卷积进行降维到96个通道,然后再用3×3升维到128,则参数量为:1×1×192×96+3×3×96×128=129024,参数量减少一半。虽然参数量减少不是很明显,但是如果1×1输出维度降低到48呢?则参数量又减少一半。对于上千层的大网络来说,效果还是很明显了。

    移动端对模型大小很敏感。下载一个100M的app与50M的app,首先用户心理接受程度就不一样。

    到此你可能有一个疑问?原则上降低通道数是会降低性能的,这里为什么却可以降维呢?

    笔者没有能力去完整回答这个问题,但是我们可以从很多embedding技术,比如PCA等中得到思考,降低一定的维度可以去除冗余数据,损失的精度其实很多情况下都不会对我们解决问题有很大影响。

    当然了该文章最重要的贡献应该是通过这种内嵌的结构,在通道之间组合信息从而增强了网络的非线性表达能力。

    一句话:1×1卷积,在 GoogLeNet Inception v1[3]以及后续版本,ResNet[4]中都大量得到应用,有减少模型参数的作用。

 

 

 

 

3 卷积拆分

 

 

 

 

 

 

 

 

 

 

 

 

 

VGG

 

 

 

    VGG可以认为是AlexNet的增强版,两倍的深度,两倍的参数量。不过,也提出了一个模型压缩的trick,后来也被广泛借鉴。

    那就是,对于5×5的卷积,使用两个3×3的卷积串联,可以得到同样的感受野,但参数量却有所降低,为3×3×2/(5×5)=0.72,同样的道理3个3×3卷积代替一个7×7,则参数压缩比3×3×3/(7×7)=0.55,降低一倍的参数量,也是很可观的。

 

 

 

 

 

GoogLeNet[3]

 

 

 

    GoogleLet Inception v2就借鉴了VGG上面的思想。而到了Inception V3[3]网络,则更进一步,将大卷积分解(Factorization)为小卷积。

    比如7×7的卷积,拆分成1×7和7×1的卷积后。参数量压缩比为1×7×2/(7×7)=0.29,比上面拆分成3个3×3的卷积,更加节省参数了。

    问题是这种非对称的拆分,居然比对称地拆分成几个小卷积核改进效果更明显,增加了特征多样性。

只能说

 

0?wx_fmt=jpeg

 

 

 

    后来的Resnet就不说了,也是上面这些trick。到现在,基本上网络中都是3×3卷积和1×1卷积,5×5很少见,7×7几乎不可见。

 

 

 

 

 

SqueezeNet[7]

 

 

 

    squeezenet将上面1×1降维的思想进一步拓展。通过减少3×3的filter数量,将其一部分替换为1×1来实现压缩。

    具体的一个子结构如下:一个squeeze模块加上一个expand模块,使squeeze中的通道数量,少于expand通道数量就行。

 

0?wx_fmt=png

 

 

 

    举上面那个例子,假如输入为M维,如果直接接3×3卷积,输出为7个通道,则参数量:M×3×3×7。

    如果按上图的做法,则参数量为M×1×1×3+3×4×1×1+3×4×3×3,压缩比为:(40+M)/21M,当M比较大时,约0.05。

    文章最终将AlexNet压缩到原来1/50,而性能几乎不变。

 

 

 

    据我所知的在卷积结构上做文章的,基本上都在这里,当然怎么训练出本来就小的模型不算。

 

 

 

 

2.1 SVD分解法

 

 

 

 

 

 

    有研究表明,一层的weights,可以通过其子集进行精确预测,所以可以使用奇异值分解(SVD分解)来对每一层进行低秩近似,下面只提一下基本原理和结论。

 

 

 

    原理:对于一个m×k维的实数矩阵W,其可以进行奇异值分解为W=USV,其中U维度为m×m,S维度为m×k,V维度为k×k。S是非负实数对角矩阵,如果将其对角线的值降序排列并发现其值衰减很快,则只需要前面几维就能保持W的绝大多数信息不丢失,这也是PCA的原理。

    假如只保留t维,那么原来的计算复杂度为O(m×k),现在则变成了O(m×t+t×t+t×k),对于足够小的t,O(m×t+t×t+t×k)远小于O(m×k)。

    不过这个方法实际的模型压缩比并不明显,在文章[8]中为2~3的左右,加速比也是2~3左右。所以同类的方法,就不再深究。

 

 

 

 

2.2 权重参数量化与剪枝

 

 

 

 

 

 

    下面是近两年比较有代表性的研究,主要是通过权重剪枝,量化编码等方法来实现模型压缩。其实最早也有直接对每个权重独立量化的研究[9],但是效果显然是不如下面的结果的。

 

 

 

 

 

DeepCompresion

 

 

 

    这是2016 ICLR最佳论文。文章早期的工作,是Network Pruning,就是去除网络中权重低于一定阈值的参数后,重新finetune一个稀疏网络。在这篇文章中,则进一步添加了量化和编码,思路很清晰简单如下。

(1) 网络剪枝:移除不重要的连接;

(2) 权重量化与共享:让许多连接共享同一权重,使原始存储整个网络权重变为只需要存储码本(有效的权重)和索引;

(3) 霍夫曼编码:更高效利用了权重的有偏分布;

 

 

 

    第一部分很好理解,就是如下流程:

(1) 普通网络训练;

(2) 删除权重小于一定阈值的连接得到稀疏网络;

(3) 对稀疏网络再训练;

    霍夫曼编码是一种成熟的编码技巧与cnn无关。下面只说说第二部分,这是从文章摘取的图,对于一个4×4的权值矩阵,量化权重为4阶(-1.0,0,1.5,2.0)。

 

0?wx_fmt=png

 

 

 

那么索引表就是:

0:-1.0

1:0

2:1.5

3:2.0

对weights采用cluster index进行存储后,原来需要16个32bit float,现在只需要4个32bit float码字,与16个2bit uint索引,参数量为原来的(16×2+4×32)/(16×32)=0.31。

    存储是没问题了,那如何对量化值进行更新呢?事实上,文中仅对码字进行更新。如上图:将索引相同的地方梯度求和乘以学习率,叠加到码字。

    这样的效果,就等价于不断求取weights的聚类中心。原来有成千上万个weights,现在经过一个有效的聚类后,每一个weights都用其聚类中心进行替代,作者的研究表明这样并不会降低网络的效果。而聚类的迭代过程,通过BP的反向传播完成,不得不说,想法非常plain和beautiful,难怪能得best paper。

    看下表就知道最终的压缩效率非常可观,把500M的VGG干到了11M。

 

0?wx_fmt=png

 

 

 

    文中还比较了如果只用剪枝或者只用量化对结果的影响,表明各自都对压缩比低于一定阈值时很敏感,如下。而combine两个trick,则在压缩比达到5%时,仍然性能不降。当然了还有如卷积层对压缩比比全连接层更敏感等结论,感兴趣可以自己去读。

 

0?wx_fmt=png

 

 

 

 

 

Binarized Neural Networks

 

 

 

如果说deep compression是float到uint的压缩,那么这篇就是uint到bool的压缩了。前者只是将weights进行量化,而这个,权重只有+1或者-1二值。

 

 

 

    将权重和每层的激活值全部二值化。如此一来大部分数学运算都是位运算。

 

 

 

    二值化的方法也很简单,文章提到了两种,第一种就是符号函数,即x>0,则f(x)=1,x<0,则f(x)=-1。另一种是以一定的概率赋值,是不是想起了dropout?文中就是,只有在激活函数时,才采用第二种二值化方法,其余都采用符号函数。

 

 

 

    其实大问题就是一个,符号函数的导数并不连续,那怎么进行梯度传播?文中将sign(x)进行放松,在-1到1之间采用了线性函数。

f(x) = max(-1,min(1,x))

    主要事项:

    (1) 在训练过程中还是需要保存实数的参数的。

    (2)在进行权重参数更新时,裁剪超出[-1,1]的部分,保证权重参数始终是[-1,1]之间的实数。

而在使用参数时,则将参数进行二值化。

    最终效果到底如何?在一些比较小的数据集,比如MNIST,CIFAR-10上,精度稍微有所下降但不明显,模型大学降低为原来的1/32,32bit的float变成1 bit。对于时间代价可见下图,第2个直方图是MNIST数据集的结果,作者的优化将速度相对于cublas提升了约3.4倍,而精度不变(第三个直方图)。

 

0?wx_fmt=png

 

 

 

    类似的还有什么XORnet,YodaNet,感兴趣的可以去选读。

    就这么多,本文主要关注的是模型压缩,这跟计算量压缩不等价,跟加速也不等价,希望不要搞混淆。

    还是那句话,如有疏漏,错误,请自行消化。因为本公众号暂时没有评论功能,所以需要交流或者有所指教,请直接加微信联系。为了照顾受众,很多细节也没有深究,爱好者可以自行看下面参考文献学习。所有观点整理纯属个人爱好消化,不能保证100%的accuracy和recall。

 

0?wx_fmt=jpeg

 

 

 

“

 

 

 

 

 

补充一句,摄影相关的内容已经移至另一个公众号<言右三的北京>,如下,欢迎关注。

 

 

”

 

0?wx_fmt=jpeg

 

 

 

 

 

 

0?wx_fmt=jpeg

 

 

 

 

 

 

言右三

微信:longlongtogo

 

 

 

0?wx_fmt=jpeg

 

 

 

 

 

 

且听菜鸟讲几分钟,欢迎交流

 

 

 

 

长按二维码关注

 

 

 

 

【1】Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

【2】Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.

【3】Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

【4】He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

【5】Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

【6】Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2818-2826.

【7】Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.

【8】Denton E L, Zaremba W, Bruna J, et al. Exploiting linear structure within convolutional networks for efficient evaluation[C]//Advances in Neural Information Processing Systems. 2014: 1269-1277.

【9】Vanhoucke V, Senior A, Mao M Z. Improving the speed of neural networks on CPUs[C]//Proc. Deep Learning and Unsupervised Feature Learning NIPS Workshop. 2011, 1: 4.

【10】Han S, Mao H, Dally W J. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding[J]. arXiv preprint arXiv:1510.00149, 2015.

【11】Hubara I, Courbariaux M, Soudry D, et al. Binarized neural networks[C]//Advances in Neural Information Processing Systems. 2016: 4107-4115.

 

海思Hi3531DV200/SS528开发板全解析:从硬件架构到智能视觉应用实战 本文全面解析海思Hi3531DV200/SS528开发板的硬件架构与智能视觉应用开发全流程。该平台集成了强大的视频编解码能力和1.2 Tops的神经网络推理引擎(NNIE),专为多路高清视频处理与轻量级AI分析设计。文章从硬件接口、开发环境搭建,到模型转换、板端集成及性能调优,提供了从零开始的实战指南,是安防监控、智能交通和工业视觉领域开发者的理想选择。 阅读详情

相关推荐

AI Agent如何赋能地震预警系统:从数据分析到智能决策的架构实践

在数据处理与自动化领域,实时数据分析与智能决策是核心技术。其原理在于通过流处理框架对海量时序数据进行实时清洗、特征提取与窗口化处理,为上层应用提供标准化的数据输入。这项技术的核心价值在于能够将传统基于规则的系统,升级为具备感知、规划、行动与学习能力的智能体,从而在时效性与准确性上实现突破。典型的应用场景包括工业物联网监控、金融风控和关键基础设施运维。本文聚焦于地震预警这一关乎公共安全的领域,探讨如何构建一个以AI Agent为核心的智能分析系统。该系统整合了P波识别、震相拾取、震源定位等多个AI模型技能,通

weixin_30243533的博客 473

【论文】模型剪枝(Network Pruning)论文详细翻译

前言: 这是关于模型剪枝(Network Pruning)的一篇论文,论文题目是:Learning both weights and connections for efficient neural networks,作者在论文中提出了一种通过网络剪枝对模型进行压缩的思路,详细地描述了模型剪枝的思路,流程和方法。 论文地址:Learning both weights and connecti...

u013044310的博客 1万+

基于Transformer+CNN的混合架构网络入侵检测系统实践

网络空间安全日益严峻,入侵检测系统(IDS)是保障网络安全的关键技术之一。传统IDS依赖规则匹配或统计建模,面对新型攻击与加密流量时更新滞后、漏报率高。深度学习的引入将入侵检测转化为数据驱动的分类问题,通过自动学习流量特征来识别已知与未知威胁。其中,CNN擅长提取局部特征,Transformer具备强大的全局依赖建模能力,两者结合的混合架构能够兼顾检测精度与训练效率。本文基于公开数据集CICIDS2017,实现了一套Transformer+CNN混合架构的入侵检测系统,覆盖数据清洗、特征工程、模型设计、类别

weixin_34253126的博客 428

深度学习的异构加速技术(二):螺狮壳里做道场

作者简介:kevinxiaoyu,高级研究员,隶属腾讯TEG-架构平台部,主要研究方向为深度学习异构计算与硬件加速、FPGA云、高速视觉感知等方向的构架设计和优化。“深度学习的异构加速技术”系列共有三篇文章,主要在技术层面,对学术界和工业界异构加速的构架演进进行分析。一、综述在“深度学习的异构加速技术(一)”一文所述的AI加速平台的第一阶段中,无论在FPGA还是ASIC设计,无论针对CNN还是LS...

weixin_33810006的博客 555

基于CNN的中药识别系统:从模型训练到移动端部署全流程解析

卷积神经网络(CNN)作为深度学习在计算机视觉领域的核心技术,通过卷积层、池化层等结构自动提取图像的多层次特征,其原理在于模拟生物视觉皮层对信息的逐层抽象处理。这项技术的核心价值在于能够高效解决复杂的图像分类、目标检测等任务,极大地推动了图像识别技术的实用化进程。在实际应用中,CNN模型常通过迁移学习,利用在大型数据集(如ImageNet)上预训练的特征提取能力,快速适配到医疗影像、工业质检、自动驾驶等特定领域的细粒度识别场景。本文聚焦于一个具体工程实践——中药识别系统,详细阐述了如何利用PyTorch框架

weixin_33708633的博客 324

告别乱码!手把手教你用docx4j实现Word转PDF(附完整中文字体配置)

本文详细介绍了如何使用纯Java库docx4j实现Word到PDF的精准转换,并重点解决了中文乱码这一核心痛点。文章提供了从环境搭建、核心代码实现到中文字体配置的完整教程,特别针对Linux服务器部署场景,给出了详细的字体安装与映射方案,确保跨平台转换的稳定性和准确性。

nokia的博客 1153

CNN压缩的各种方式与历史

本文转载自公众号《与有三学AI》为了压榨CNN模型,这几年大家都干了什么​mp.weixin.qq.com如果从2006年算,深度学习从产生到火爆已经十年了,在工业界已经产生了很多落地的应用。现在网络的深度已经可达1000层以上,下面我们关注一个问题:这些年大家是怎么“压榨”CNN模型的。首先回顾一下几个经典模型,我们主要看看深度和caffe模型大小。当然,在实际应用中,各自调试出的version...

Don't worry,be happy 1628

保姆级教程:用PROGRAM_FTDI搞定Xilinx FPGA的JTAG调试器(基于FT232/FT2232/FT4232)

本文详细介绍了如何使用FT232/FT2232/FT4232系列芯片通过PROGRAM_FTDI工具配置Xilinx FPGA的JTAG调试器。从芯片选型、驱动安装到固件烧写和Vivado验证,提供了完整的实操指南和避坑要点,帮助开发者低成本实现高效调试。

weixin_29271053的博客 2178

深度学习模型保存_深度学习模型优化及调参

以下均来自于:有三AI学院-深度学习模型优化 专栏龙鹏:【模型训练】SGD的那些变种,真的比SGD强吗 龙鹏:【模型训练】如何选择最适合你的学习率变更策略 龙鹏:【技术综述】图像与CNN发家简史,集齐深度学习三巨头 龙鹏:【技术综述】深度学习新手如何开始合适的“调参”任务 龙鹏:【模型解读】从“局部连接”回到“全连接”的神经网络 龙鹏:【模型解读】“全连接”的卷积网络,有什么好? 龙鹏:【模型解读...

weixin_39776817的博客 245

GBT 27930-2015/2023国标充电协议A类CAN报文ID说明

国标充电CAN的ID,仅供学习参考。

qqq080的博客 7828

Eclipse 数据空间组件(EDC)项目介绍

在当今数字经济的背景下,数据成为了新的“石油”。但与石油不同的是,数据可以无限共享且再生。然而,如何在保持数据主权的前提下实现高效、安全的数据共享,成为了企业和组织面临的主要挑战。这时,**Eclipse 数据空间组件(Eclipse Dataspace Components, EDC)**应运而生,它为企业在多方参与的数据交换中提供了一个标准化、可扩展的解决方案。数据空间不仅是一个多组织间的数据共享协议,还是一套支撑这些协议运行的技术基础设施。

m0_74331272的博客 4603

如何系统性掌握深度学习模型设计和优化

模型是深度学习的核心技术之一,我们平时在从事相关工作时,有很大一部分精力都在模型设计和优化上。对于新手朋友们来说,往往只会跑一跑别人的模型或者只会盲目的简单修改一下参数,...

hacker_long的专栏 857

从勒索软件攻击到数据重生:SQL Server MDF文件修复的实战生存指南

本文详细介绍了SQL Server MDF文件在遭遇勒索软件攻击后的修复策略,重点解析了Recovery Toolbox工具链的应用流程。从灾难评估到数据验证,提供分阶段修复操作、高级修复技术及防御加固方案,帮助企业快速恢复数据库并提升安全防护能力。

weixin_28327051的博客 715

【分享预告】细数GAN和图像分类的前世今生

这是本周的分享预告,一起来细数图像分类与GAN的前世今生。更多,欢迎到知乎专栏去投稿与交流,配套资料将放出在github,可扫描二维码进入。打一个小广告,我的计算机视觉公...

hacker_long的专栏 582

基于libVLC的视频播放器之四:直接使用libVLC

一.效果 播放本地文件 播放网络url:rtsp://3.84.6.190/vod/mp4:BigBuckBunny_115k.mov 二.实现 既然有VLC-Qt,为什么还要直接调用libVLC呢,因为直接调用会加深对整个播放流程的理解,方便后面修改VLC-Qt源码。 注意事项: 1.编译报错:error C2065: “libvlc_media_read_cb”: 未声明的标识符。修改如下: 2.libvlc_new(0, nullptr)返回null 将plugins

草上爬的博客 5051

使用PyTorch和TextCNN实现英文长文本诗歌文本分类

在这个过程中,我们了解了如何进行文本数据预处理、构建TextCNN模型,并进行训练与评估。首先,我们需要将文本文件加载到内存中,并将每个诗歌作为一个样本。然后,我们需要将每个样本转换为数字表示,这可以通过将词汇表中的每个词语映射到一个唯一的整数来实现。此外,我们还需要将每个样本的长度统一为固定值,以便于模型输入。通过这个示例,我们可以学习如何构建一个简单但有效的文本分类模型,并在具体的应用场景中进行训练和预测。该模型通过使用多个不同尺寸的卷积核来捕捉文本中的不同长度的信息,并通过最大池化操作提取关键特征。

loop_syntax648的博客 254

知识蒸馏实战:从大模型到小模型的完整迁移指南

在模型压缩与端侧部署需求日益增长的今天,如何将大模型的强大能力高效迁移到轻量级模型成为工程热点。知识蒸馏作为一种经典的模型压缩技术,通过教师模型输出软标签来指导学生模型训练,既能保留类间细粒度关系,又能显著降低推理成本和显存占用。本文从监督信号差异切入,解析温度系数、损失函数设计等核心原理,并结合BERT系列模型在情感分类任务上的实操,展示从软标签预计算到蒸馏训练的全流程。同时给出温度、损失权重、学习率等关键超参的调试策略,以及数据规模优化和踩坑经验,帮助算法与部署工程师在效果与成本间找到平衡。

weixin_34221773的博客 361

VHDL六层电梯控制器及仿真

六层电梯电梯 设计要求:设计一个六层电梯控制系统要求有超载、关门中断、提前关门清除报警信电梯外人的上升请求信号,电梯外人的下降请求信号, 电梯外人上升请求信号显示电梯外人下降请求信号显示到达楼层信号 设计思路:输入有clk时钟信号(频率为2Hz) full,deng,quick,clr超载、关门中断、提前关门清除报警c_u1,c_u2,c_u3,c_u4,c_u5电梯外人的上升请求c_d2,c_d3,c_d4,c_d5,c_d6 电梯外人的下降请求 d1,d2,d3,d4,d5,d6电梯内人的...

QQ_778132974的博客 1713

有三AI一周年了,说说我们的初衷,生态和愿景

首发于微信公众号《有三AI》 有三AI一周年了,说说我们的初衷,生态和愿景 过去的一年里,我从算法干到前端,后端,从编辑干到产品,运营,设计,日夜颠倒没有规律的生活,写了200多篇原创技术文章,只为了向毕生的理想多迈出一步,创建一所属于自己的学院。我可以不做老师,但必须是院长。 我们从去年5月左右开始系统性输出技术文章,到今天差不多有三AI一周年了,今天来好好说一说。 文/编辑 | 言...

hacker_long的专栏 5174

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【直播预告】计算机视觉中数据增强原理和实践

应广大粉丝要求,以后有三AI会多组织直播,分享更多实践的干货知识,下面预告一下下周六的知乎Live直播-计算机视觉中数据增强原理和实践。1、直播基本信息时间:2019年4...

hacker_long的专栏 434

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

裸辞,迎接2019年的春天

文/编辑 | 言有三还有不到两年就三十岁了,时间不多了,一年之计在于春,想做的也该开始了,自是有了一番思索,才有如此行动,人生有很多选择,不经过一段时间,谁也不知道对与错...

hacker_long的专栏 408

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

深度学习总结

算法面试题

abcdefg666666123的博客 945

基于混合存储与屋顶线模型的资源高效DCNN FPGA加速器设计

深度卷积神经网络(DCNN)是计算机视觉等领域的核心技术,其计算密集的特性对硬件加速提出了高要求。其核心原理是通过多层卷积、池化等操作提取特征,但模型参数量和计算量巨大,直接部署面临严峻挑战。FPGA因其可重构性和并行计算潜力,成为实现高效DCNN推理的重要平台,其技术价值在于能在特定功耗和面积约束下,提供定制化的高性能计算方案。在嵌入式AI和边缘计算等应用场景中,关键在于最大化有限硬件资源的利用率,而非单纯追求峰值算力。本文聚焦于通过创新的混合存储(HS)模式和屋顶线模型分析,动态优化数据流与计算调度,从

weixin_29549793的博客 489

创业第一天,有三AI扔出了深度学习的150多篇文章和10多个专栏

文/编辑 | 言有三在这篇文章中,有三跟大家来聊一下有三AI和如何学习深度学习这件事儿。1概述自我介绍“有三AI”创始人网名言有三,本名龙鹏,本科就读于华中科技大学,硕...

hacker_long的专栏 608

我的AI研究这十一年:从零论文到英伟达

当全世界都在追逐最新的 arXiv 预印本时,我做了一件在导师看来有点“疯”的事:我把自己埋在厚厚的数学教材里,试图为我的假设寻找底层依据。我在异国炖菜的味道、生活小技巧的习得,以及对一段陌生历史的了解中,找到了意想不到的快乐。在截止日期的混乱中,我甚至在没备份的情况下覆盖了他修改过的一些地方。把你的代码库想象成一个观测未知宇宙的天文台:为了获得最好的观测结果,它必须经过高精度的校准,并配备最新的技术。”看着他们的眼睛,我仿佛看到了年轻时的自己——满怀雄心壮志,却对前方的重重迷雾和应对之道一无所知。

具身机器人和通用AI 982

深度学习的150多篇文章和10多个专栏推荐

文章首发于微信公众号《有三AI》 创业第一天,有三AI扔出了深度学习的150多篇文章和10多个专栏 文/编辑|言有三 在这篇文章中,有三跟大家来聊一下有三AI和如何学习深度学习这件事儿。 1概述 自我介绍 “有三AI”创始人网名言有三,本名龙鹏,本科就读于华中科技大学,硕士就读于中国科学院,先后就职于奇虎360AI研究院,陌陌深度学习实验室,6年多计算机视觉从业经验...

hacker_long的专栏 1621
上一篇: 2016自动驾驶外行装逼攻略(超长文推荐)
下一篇: 一文说说这十多年来计算机玩摄影的历史
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值