干货 | 5个常用的深度学习框架

TouchSocket TcpService:构建高性能Tcp服务的终极利器 / 接收到的数据data");// 回复客户端await ((ITcpSessionClient)client).SendAsync("服务端已收到消息!");// 继续执行后续插件TouchSocket的TCPService以极简的API、强大的扩展性和卓越的性能,重新定义了.NET TCP服务的开发体验。无论是物联网平台还是金融级实时通信系统,TCPService均能提供可靠的基础设施支持。立即探索示例项目,开启你的高性能服务开发之旅!扩展阅读如何实现WebSocket服务? 阅读详情

 对于学习数据科学的同学来说,从头开始实现神经网络,会让你理解很多有趣的东西。但是,我并不认为在真实数据集上构建深度学习模型是个明智的做法,除非你有数天或数周的时间来等待模型的构建。那么对于绝大部分无法获得无限资源的人来说,使用易于使用的开源深度学习框架,我们可以立即实现如卷积神经网络这样的复杂模型。

在本文中,我将介绍5个超级有用的深度学习框架,同时比较每个框架,以了解我们何时何地可以使用哪个框架。

 

目录

一、什么是深度学习框架

二、TensorFlow

三、Keras

四、PyTorch

五、Caffe

六、DeepLearning4j

七、比较这些深度学习框架

 

一、什么是深度学习框架

让我们用一个例子来理解这个概念。考虑下面的图像集合:

此图像中有各种类别,猫、骆驼、鹿、大象等。我们的任务是将这些图像分类到相应的类(或类别)中。Google搜索告诉我们,卷积神经网络(CNN)对于此类图像分类任务非常有效。所以我们需要去实现这个模型,但是如果你开始从头开始编写CNN,那么获得工作模型将是几天后(甚至是几周),而这就是深度学习框架真正改变了这尴尬的局面。

无须写上百行代码,我们仅仅需要使用一个适合的框架去帮助我们快速建立这样的模型。以下是良好深度学习框架的一些主要特征:

1.   针对性能进行了优化

2.   易于理解和编码

3.   良好的社区支持

4.   并行化进程以减少计算

5.   自动计算渐变

 

二、TensorFlow

TensorFlow由GoogleBrain团队的研究人员和工程师开发。它是深度学习领域中最常用的软件库(尽管其他人正在迅速赶上)。

TensorFlow如此受欢迎的最大原因是,它支持多种语言来创建深度学习模型。比如Python,C++和R语言,它有适当的文档的演练指导。制作TensorFlow有很多组件,其中比较突出的两个是:

1.   TensorBoard:使用数据流图帮助实现有效的数据可视化

2.   TensorFlow:用于快速部署新算法/实验

TensorFlow的灵活架构使我们能够在一个或者多个CPU(以及GPU)上部署我们的深度学习模型。以下是TensorFlow的几个常见用例:

1.   基于文本的应用程序:语言检测、文本摘要

2.   图像识别:图像字幕、人脸识别、物体检测

3.   声音识别

4.   时间序列分析

5.   视频分析

安装TensorFlow也是一项非常简单的任务:

       仅适用于CPU:

       对于支持CUDA的GPU卡:

         从以下综合教程中学习如何使用TensorFlow构建神经网络模型

  • An Introduction to Implementing NeuralNetworks using TensorFlow

  • TensorFlow tutorials

 

三、Keras

对于Python爱好者来说,Keras是你开始深度学习之旅的完美框架。Keras是用Python编写的,可以运行在TensorFlow(以及CNTK和Theano)之上。TensorFlow接口可能有点挑战性,因为它是一个低级库,新用户可能会很难理解某些实现。另一方面,Keras是一个高级API,开发的重点是实现快速实验。因此,如果想要快速结果,Keras将自动处理核心任务并生成输出。Keras支持卷积神经网络和递归神经网络。它可以在CPU和GPU上无缝运行。同时,Keras有助于深度学习初学者正确理解复杂的模型,它旨在最大限度地减少用户操作,并使模型非常容易理解。

我们可以将Keras的模型大致分为两类:

1.顺序:模型的各层以顺序方式定义,这意味着当我们训练深度学习模型时,这些层是按顺序实现的。以下是顺序模型的示例:

2.Keras功能API:通常用于定义复杂模型,例如多输出模型或具有共享层的模型,查看以下代码以实际方式理解:

Keras有多种架构,如下所述,用于解决各种各样的问题

1.   VGG16

2.   VGG19

3.   InceptionV3

4.   Mobilenet和其他更多

你可以参考官方Keras文档,以详细了解框架的工作原理:https://keras.io/

仅仅使用一行代码就能够安装Keras:

想要更进一步是如何使用Keras实现神经网络的可以查看:

  • OptimizingNeural Networks using Keras

 

四、PyTorch

PyTorch是我所研究的所有框架中最灵活的,它是Torch深度学习框架的一个端口,可用于构建深度神经网络和执行Tensor计算。Torch是一个基于Lua的框架,而PyTorch是在Python上运行的,使用动态计算图,它的Autogard软件包从tensors中构建计算图并自动计算梯度。Tensors是多维数组,就像numpy的ndarrays一样,也可以在GPU上运行。

PyTorch不是使用具有特定功能的预定义图形,而是为我们提供了一个构建计算图形的框架,甚至可以在运行时更改它们。这对于我们不知道在创建神经网络时应该需要多少内存的情况很有用。

你可以使用PyTorch处理各种深度学习挑战,包括:

1.   图像(检测、分类等)

2.   文本(NLP)

3.   强化学习

关于PyTorch的安装步骤和利用PyTorch构建你的第一个神经网络,可以参考以下文档:

  • Learn How to Build Quick & AccruateNeural Networks using PyTorch-4 Awesome Case Studies

  • PyTorch tutorials

 

五、Caffe

Caffe是面向图像处理领域的另一种流行的深度学习框架。作者是贾扬清,加州大学伯克利的博士,现就职于阿里巴巴,担任技术副总裁岗位,领导大数据计算平台的研发工作。需要注意的是,Caffe对循环网络和语言建模的支持不如上述三个框架。但是,Caffe脱颖而出的是处理和学习图像的速度。这很容易成为主要的USP。(USP指的是UniqueSelling Proposition,又称创意理论,其特点是必须向受众陈述产品的特点,同时这个特点必须是独特的、必须能够引起销售)

Caffe为C、C++、Python、Matlab等接口以及传统的命令行提供了坚实的支持。Caffe Model Zoo(大量的在大数据集上预训练的可供下载的模型)框架允许我们访问可用于解决深度学习问题的预训练网络、模型和权重。这些模型适用于以下任务:

1.   简单回归

2.   大规模的视觉分类

3.   用于图像相似性的暹罗网络(Siamese Networks)

4.   语音和机器人应用

你可以查看Caffe的安装和文档以获取更多详细信息。

 

六、DeepLearning4j

对于Java程序员,这是理想的深度学习框架。DeepLearning4j在java中实现,因此与Python相比更高效,它使用称为ND4J的张量库,提供了处理n维数组的能力。这个框架还支持GPU和CPU。

DeepLearning4j将加载数据和训练算法的任务视为单独的过程,这种功能分离提供了很大的灵活性。它同时也适用于不同的数据类型:

1.   图片

2.   CSV

3.   纯文本等

你可以使用DeepLearning4j构建的深度学习模型是:

1.   卷积神经网络(CNN)

2.   递归神经网络(RNN)

3.   长短记忆(LSTM)和许多其他架构

你可以查看DeepLearning4j的安装和文档以获取更多详细信息。

 

七、五个深度学习框架的对比

我们已经介绍了五个最流行的深度学习框架。每个都有它自己独特的功能集,有些框架可以很好地处理图像数据,但无法解析文本数据。其他框架在图像和文本数据方面表现良好,但其内部工作可能难以理解。下面我们将使用以下标准比较我们的五个深度学习框架:

1.   社区支持

2.   它们用到的语言

3.   接口

4.   支持预训练模型

下面这个表格是这些框架的对比:

所有这些框架都是开源的,支持CUDA并且有预训练模型来帮助您入门。但是,什么应该是正确的起点,你应该选择哪个框架来构建你的(初始)深度学习模型?

1.   TensorFlow

TensorFlow适用于图像和基于序列的数据。如果您是深度学习的初学者,或者对线性代数和微积分等数学概念缺乏扎实的理解,那么TensorFlow的陡峭学习曲线可能会让人望而生畏。对于刚刚起步的人来说,这方面可能很复杂。我的建议是继续练习,继续探索社区。一旦您对框架有了很好的理解,实现深度学习模型对您来说将非常容易。

2.   Keras

Keras是一个非常可靠的框架,可以开始您的深度学习之旅。如果您熟悉Python并且没有进行一些高级研究或开发一些特殊类型的神经网络,那么Keras就适合您。它更多的是让你取得成果,而不是陷入模型错综复杂的困境。因此,如果您获得与图像分类或序列模型相关的项目,请从Keras开始,因为你可以非常快速地获得工作模型。

Keras也集成在TensorFlow中,因此您也可以使用tf.keras构建模型。

3.   PyTorch

与TensorFlow相比,PyTorch更直观。一个包含这两个框架的快速项目将使这一点非常清晰。即使你没有扎实的数学或纯机器学习背景,你也可以理解PyTorch模型。随着模型的进行,您可以定义或操作图形,这使得PyTorch更加直观。PyTorch没有像TensorBoard这样的可视化工具,但你可以随时使用像matplotlib这样的库。

4.   Caffe

当我们在图像数据上构建深度学习模型时,Caffe非常有效。但是当涉及到递归神经网络和语言模型时,Caffe落后于我们讨论过的其他框架。Caffe的主要优势在于,即使您没有强大的机器学习或微积分知识,您也可以构建深度学习模型。Caffe主要用于构建和部署用于移动电话和其他计算受限平台的深度学习模型。

5.   DeepLearning4j

就像我之前提到的,Deeplearning4j是Java程序员的天堂。它为不同的神经网络提供了大量支持,如CNN,RNN和LSTM。它可以在不牺牲速度的情况下处理大量数据。

 

八、结束

请记住,这些框架本质上只是帮助我们实现最终目标的工具。明智地选择它们可以减少大量的精力和时间。下图是详细介绍我们所涵盖的每个深度学习框架的信息图。你可以选择下载,打印并在下次构建深度学习模型时使用它!

转载自: 磐创AI

—END—
声明:部分内容来源于网络,仅供读者学术交流之目的。文章版权归原作者所有。如有不妥,请联系删除。

Langchain cannot connect with Azure SQL Database Langchain 无法连接到 Azure SQL 数据库 阅读详情

相关推荐

不只是抓取:用五指灵巧手(ROH-A001/RH56)玩转ROS2下的力控与混合控制

本文深入探讨了在ROS2环境下使用五指灵巧手(ROH-A001/RH56)实现力控与混合控制的实战技巧。从硬件通信协议解析到ROS2节点开发,详细介绍了力感知架构、实时数据处理和混合控制策略,帮助开发者在Ubuntu系统中高效实现精密操作。通过鸡蛋抓取等实例,展示了力控技术在机器人灵巧操作中的关键作用。

weixin_28221501的博客 290

主流深度学习框架及神经网络模型汇总

用大白话说就是是一个中间件,比如你PyTorch的模型想转换别的,就得通过ONNX,现在有的框架可以直接转,但是在没有专门支持的时候,ONNX就非常重要了,万物先转ONNX,ONNX再转万物。NCNN的速度是超过TFLite的,但是有点麻烦的是之前得经常自己用C去复现一些算子(框架起步都这样),现在因为使用的人数很多,因此算子很多。同样的设备,MNN的部署速度是非常快的,树莓派3B上cpu的加速是NCNN速度的3被以上,而且文档非常的全,代码整洁清晰,非常适合开发者使用。对下图左,标注为人,羊,狗,草地。

ZhangJiqun&191cm&85kg 1万+

RTL代码生成智能体构建指南:从规格到可综合Verilog的闭环实践

大语言模型与智能体技术正在向芯片设计领域渗透,其中RTL代码生成是EDA工具链智能化的重要方向。其核心原理在于将自然语言规格解析为结构化中间表示,再通过模板与LLM混合生成、语法检查、功能仿真和逻辑综合形成闭环反馈,从而自动修正代码错误。技术价值在于把重复性的模块骨架、接口定义和测试平台初稿自动化,让工程师聚焦架构权衡与时序收敛。典型应用场景包括计数器、状态机、FIFO等常规模块开发,以及跨模块接口一致性管理。本文围绕RTL代码生成智能体的分层架构、IR设计、验证反馈与迭代修正,拆解一套可跑通的工程化构建方

weixin_28292761的博客 154

【机器学习】深度学习框架是什么?有哪些?如何选择?

文章目录深度学习框架是什么深度学习框架有哪些如何选择合适的框架1. TensorFlow2. PyTorch3. Caffe 1.04. Theano5. MXNet6. Keras7. Chainer参考链接 深度学习框架是什么 深度学习框架像Caffe、tensorflow,这些是深度学习的工具,简单来说就是库,编程时需要import caffe、import tensorflow。 作一个简单的比喻,一套深度学习框架就是这个品牌的一套积木,各个组件就是某个模型或算法的一部分,你可以自己设计如何使用积

weixin_44211968的博客 1万+

Autodesk激活无无网络选项?许可类型与脱机激活排查修复指南

软件许可激活是保障正版授权正常使用的核心环节,常见的授权模式包括单机版许可和网络版许可,两者在认证机制和应用场景上有所区别。单机版离线授权依托 FlexNet Licensing Service 等底层服务组件,在断网或内网环境下为用户提供可靠的技术支持与授权验证路径。然而在实际部署中,激活窗口并不总是显示“无网络激活方式”入口,这可能与许可类型选择、网络环境干扰、组件安装残留或系统时间偏差有关。理解入口的动态呈现逻辑与排查顺序,有助于在 AutoCAD、Revit 等 Autodesk 产品中高效解决脱机

weixin_28709649的博客 358

使用VNC可视化Docker容器

Docker容器可视化

Robert_Q的博客 1万+

详解 6 大主流深度学习框架

导读:近几年,随着深度学习的爆炸式发展,相关理论和基础架构得到了很大突破,它们奠定了深度学习繁荣发展的基础。这其中涌现了几个著名的深度学习平台,本文将对这些平台进行简要介绍。作者:涂铭 金...

大数据 1万+

MATLAB仿真实战:双有源桥(DAB)变换器的扩展移相调制(EPS)全流程解析

本文提供了一份详细的MATLAB/Simulink仿真实战指南,手把手解析双有源桥(DAB)变换器在扩展移相调制(EPS)下的全流程建模。内容涵盖从核心原理、主功率电路搭建、EPS驱动信号生成,到仿真运行、波形分析及模型优化的完整步骤,旨在帮助工程师和研究者快速掌握DAB变换器的仿真与性能验证方法。

o4p5q6r7s的博客 505

深度学习的框架有哪些?

支持稠密参数和稀疏参数场景的超大规模深度学习并行训练,拥有强大的多端部署能力,已实现 API 的稳定和向后兼容,具有完善的使用文档和活跃的开发者社区生态。它是一个基于统一计算图的深度学习框架,创新地采用了统一计算图,能动态将计算图拆分成可优化的子静态图,兼具动态图的灵活性和静态图的运算性能。具有很好的分布式支持,性能出色,占用显存低,开发语言接口丰富,包括 Python、C++、R、Matlab、Scala、JavaScript 等,但教程不够完善,使用人数和社区规模相对较小。

alankuo的专栏 1603

Pythia: A Customizable Hardware Prefetching Framework Using Online Reinforcement Learning——“预取”论文解读

参考传送门: 1. Hardware Prefetching笔记 2. 全球百科——缓存预取 3. 百度百科——缓存数据预期技术 目录0. 什么是Hardware Prefetching(本节内容不包括在论文中)1. 简介1.1 关于Hardware Prefetching的一些关键信息1.2 现阶段方法的缺陷1.3 论文团队的目标1.4 核心思想2. 必要的背景知识介绍2.1 强化学习(Reinforcement learning)2.2 为什么说强化学习是一个好的解决思路3. 解决方法与思路3.1 Py

Pinkgranite86的博客 2170

从STM32转战华大HC32F4A0:我的踩坑实录与10个USART的灵活配置心得

本文分享了从STM32迁移至华大HC32F4A0的实战经验,重点解析了10个USART的灵活配置技巧及常见问题解决方案。通过对比STM32F407,详细介绍了HC32F4A0在外设灵活性、IO功能组设计及多串口应用中的优势,帮助开发者快速掌握国产芯片的开发要点。

weixin_30514745的博客 525

如此多的深度学习框架,为什么我选择PyTorch?

小编说:目前研究人员正在使用的深度学习框架不尽相同,本文介绍了6种常见的深度学习框架,PyTorch与他们相比又有哪些优势呢?本文选自《深度学习框架PyTorch:入门与实践》1 PyTorch的诞生2017年1月,Facebook人工智能研究院(FAIR)团队在GitHub上开源了PyTorch,并迅速占领GitHub热度榜榜首。作为一个2017年才发布,具有先进设计理念的框架,PyTorch的

博文视点(北京)官方博客 4万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

迈向轻量化!SPAQ-DL:在资源受限平台部署深度学习SLAM

点击下方卡片,关注「3D视觉工坊」公众号选择星标,干货第一时间送达来源:3D视觉工坊添加小助理:cv3d001,备注:方向+学校/公司+昵称,拉你入群。文末附3D视觉行业细分群。扫描下方二维码,加入「3D视觉从入门到精通」知识星球,星球内凝聚了众多3D视觉实战问题,以及各个模块的学习资料:近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研,...

3D视觉工坊 760

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

最新!干货满满的深度学习应用综述

文章目录0 写在前面1 引言2 DL的基本架构3 DL的高级架构AlexNetVisual Graphic Group NetGoogleNetResNetResNeXtRCNN (Regions with Convolutional Neural Network)YoLoSqueezeNetSegNetGAN4 DL的特点5 使用DL的动机6 DL与经典ML的区别7 DL与传统学习的区别特征提取...

JohnJim的博客 2497

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【资源】PyTorch版《动手学深度学习》开源了,最美DL书遇上最赞DL框架

点击上方,选择星标或置顶,每天给你送干货!阅读大概需要4分钟跟随小博主,每天进步一丢丢来自:机器之心项目作者:ShusenTang参与:思碎片化利用时间推荐:提升自己,尽在点滴。推荐几个...

zenRRan的博客 494

PyTorch版《动手学深度学习》开源了,最美DL书遇上最赞DL框架

点击上方“AI算法与图像处理”,选择加"星标"或“置顶”重磅干货,第一时间送达来源:机器之心,已授权转载,禁止二次转载想要入门最前沿的深度学习,想要玩最常见的深度学习框...

zero的博客 284

干货丨深度学习架构

作者:M. Tim Jones 连接主义体系结构已存在 70 多年,但新的架构和图形处理单元 (GPU) 将它们推到了人工智能的前沿。深度学习架构是最近 20 年内诞生的,它显著增加了神经网络可以解决的问题的数量和类型。本文将介绍 5 种最流行的深度学习架构:递归神经网络 (RNN)、长短期记忆 (LSTM)/门控递归单元 (GRU)、卷积神经网络 (CNN)、深度信念网络 (DBN)

人工智能爱好者俱乐部 2500

「干货」常用深度学习图像/视频标注工具及数据集资料汇总

“大数据时代”,数据为王!无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。 对于监督学习算法而言,数据决定了任务的上限,而算法只是在不断逼近这个上限。世界上最遥远的距离就是我们用同一个模型,但是却有不同的任务。但是数据标注是个耗时耗力的工作。 在深度学习领域,培训数据对培训结果具有重要影响。在计算机视觉领域,除了开放数据集之外,许多应用场景还需要专门的数据集来进行迁移学习或端到端培...

图像算法Imalg的博客 4468

【github干货】主流深度学习开源框架从入门到熟练

文章首发于微信公众号《有三AI》 【github干货】主流深度学习开源框架从入门到熟练 今天送上有三AI学院第一个github项目 01项目背景 目前深度学习框架呈百家争鸣之态势,光是为人熟知的就有caffe,tensorflow,pytorch/caffe2,keras,mxnet,paddldpaddle,theano,cntk,tiny-dnn,deeplearning4j...

hacker_long的专栏 1511

深度学习小白初学者入门干货!

主要内容阐述了深度学习中常见的实验问题与实验技巧,包括消融实验、对比实验的做法及相关指标,数据集的分配问题,深度学习改进实验的顺序,预训练权重对改进和精度的影响,YAML 模型结构图的绘制,训练的可重现性,pytorch 模块内结构图的绘制,创新性,模块加入结构的方法,判断模型收敛与过拟合的方法,模型训练结果,以及上采样和下采样等内容。主要面向深度学习小白初学者,尤其是与图像相关的内容。

嵌入式阿齐Archie 7000

AI 从业者该如何选择深度学习开源框架

导语:本文是微软美国总部机器学习科学家彭河森博士在雷锋网硬创公开课的分享,由雷锋网旗下栏目“AI科技评论”整理。 编者按:本文内容来自微软美国总部机器学习科学家彭河森博士在雷锋网(公众号:雷锋网)硬创公开课的分享,并由彭河森博士亲自整理成文。 正如程序语言一样,深度学习开源框架同样各有优劣和适用的场景,那么 AI 从业者该如何有针对性地选择这些平台来玩转深度学习

雷锋网 1986

深度学习资料汇总(满满的干货)

Deep Learning(深度学习),一个很火热的研究方向,然而,它已经有很久的历史,只不过由于当时没有充足的数据和强大的计算能力,导致它此起彼伏了好几次。如今,他为什么会这么火热,最主要的原因有两点: 1.大数据时代已经来临,国内很多的公司每天可以收集到足够多的信息,并将其存储起来,对其经过预处理之后,将其作为深度学习的深入。总之,企业已经有了海量的数据,基本上可以满足你的各种需求。...

haoji007的博客 1285

中国人自己的深度学习框架Paddle(一):Paddle简介

PaddlePaddle是一个功能全面的深度学习框架由百度公司主导开发并开源。它最初源于2013年百度深度学习实验室创建的Paddle项目旨在支持大规模数据的多GPU和多机器并行训练。2016年9月百度正式将PaddlePaddle开源这标志着国内第一个机器学习开源平台的诞生。PaddlePaddle的名字来源于Parallel Distributed Deep Learning并行分布式深度学习的缩写寓意通过并行计算来加速深度学习模型的训练过程。

weixin_38299162的博客 1万+

【腾讯Bugly干货分享】深度学习在OCR中的应用

OCR(光学字符识别)旨在从图片中检测和识别文字信息,本次分享将介绍我们在OCR技术研发过程中的一些方法和经验总结。

腾讯Bugly的专栏 7877

【干货】初探ArcGIS中的深度学习(一)

想象一下:卫星影像自动识别建筑物轮廓,无人机数据实时检测灾害损毁,历史影像自动分析土地利用变迁——这些曾经需要专家数月工作的任务,如今在几分钟内就能完成。作为机器学习的分支,通过多层神经网络模拟人脑处理信息的方式,能从海量数据中自动学习特征和规律。深度集成了这一能力,无缝对接TensorFlow、PyTorch等主流深度学习框架,形成了“地理处理+AI模型”的双引擎架构。在学习深度学习前,我们需要了解人工智能、机器学习、深度学习三者之间到底是个什么样的关系。,三者构成从宏观理念到技术实现的完整技术栈。

qq_39167542的博客 1084

探寻从小白成长为深度学习大佬的过程,一些超级干货分享

大家好,我是羽峰,今天要和大家分享的是自己总结的深度学习四步曲,自我总结,难免有错,欢迎指正。 还是老话,我是羽峰,希望我所分享的文章能为您及更多的朋友带来帮助。欢迎转发或转载呀! 欢迎关注“羽峰码字” 深度学习作为现在最热门的领域之一,不管是找工作还是科研,只要能和深度学习扯上点关系的,都慢慢因为深度学习火热起来而相应的火了起来。所以入门深度学习的朋友也越来越多。 当然想要学也是可以的,学习深度学习贵在坚持,因为其中涉及到的知识还是挺多...

m0_37940804的博客 2378
上一篇: 终于有人总结了图神经网络!
下一篇: 博士毕业感悟:我从来不曾优秀过,也从未曾放弃过!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值