深度学习论文(发展阶段)

A Fast Learning Algorithm for Deep Belief Nets - 论文学习 摘要 介绍 互补先验 一个带约束权的无限有向模型 限制玻尔兹曼机和对比散度学习 一种转换表示的贪婪学习算法 Some Ideas Based on DBN Nonlinear Dimensionality Reduction Learning Semantic Address Space (SAS) for Fast Document Retrieval Learning Nonl... 阅读详情

转载:https://blog.youkuaiyun.com/lioncv/article/details/22372757

 

 

【1】A fast learning algorithm for deep belief nets: 2006

Hinton关于deep learning的代表作。Papershows how to use “complementary prior” to eliminate the explaining away effects that make inferencedifficult in densely-connected belief nets that have many hidden layers. 文章讲了deeplearning的整个体系机构,尤其对于用Restricted Boltzmann machine 和contrastivedivergence learning方法的阐述。对于整个deep

Learning结构的把我是很好的文章。

 

【2】To Recognize Shapes, First Learn to Generate Images: 2006

Hinton报告文章。文章从脑神经的角度讲了为什么要研究deep learning。列举了learning multilayer networks所面临的five strategies。Pretraining,fine-tuning等等概念讲解的更加的详细。

 

【3】Learning multiple layers of representation:2007

这篇文章给我的最大收获就是了解了这个方向的很多vocabulary:top-dowm connections,distributed representations,fine-tuned,generativemodel,discriminate model,stochastic generative model。我也认为这是目前我所看文献中对于pretraining讲得最好的一篇,至少对于初学者比较好懂。

 

【4】Reducing the dimensionality of data with neural networks:2006

这篇文章的重要性不用敷述,science的文章,也是因为这篇文章,deep network开始改变整个机器学习的格局,neural network开始进入deep network时代。版面的原因只要三页纸,但字字金贵,值得读上四五面。

 

【5】Representation learning:a review and newperspectives :2012

综述性质的文章,对于deep architecture 整个领域的阐述。适合看了Restricted Boltzmann machine和auto-encoder这些方法之后再去看这篇,会有豁然开朗的感觉。

 

【6】深度学习研究综述:2012

这是这个领域我阅读的第一篇也是唯一一篇中文文献,对于我刚开始看起到了很大的启发作用,很多名词就是从这篇文章中得到启发的。

 

【7】How neural networks learning from experience:1992

这篇文章很早,但是我认为对于进入neural networks 领域非常的有价值,对于之前应用的最成功的back-propagation neural networks 进行了非常详细的讲解和推导。

 

【8】Learning deep architecture for AI:2009

Deep learning领域另一个学派创始人:YoshuaBengio  写的一篇综述。文章很有厚度:126页,是deeplearning必看的文章,也是学习的好文章。里面的内容很详细,而且references也很详细,200多篇。

 

【9】Human detection in images via piecewise linear support vectormachines:2012

Human detection 从2005年的dalal的historgramsof oriented gradients for human detection后基本上都会采用SVM的方法来解决问题。这篇文章讲述了SVM的一种变形结构。

 

【10】Historgrams of oriented gradients for human detection:2005

在human detection 领域一篇意义很重大的文章,提出了Historgrams of oriented gradients的方法。

 

1月21日:

【11】A practical guide to training restricted Boltzmann machines:2010

Hiton讲解的Restrical Boltzmanmachines的详细的训练方法。

 

1月22日:

【12】Measuring Gaze Depth with an Eye Tracker During StereoscopicDisplay:2011

新课题组老师的一篇文章,主要讲eye tracking的,但是使用3 dimension的方式。文章中用到了Butterworth filter 和 quadratic regressionb。

 

1月23日:

【13】Online Gaze Disparity via Binocular Eye Tracking on StereoscopicDisplays: 2012

Gaze depth and disparity 的online 方式。这篇文章和上面的文章是一个体系的,但是方法不一样,这篇文章用了triangulation using onscreen horizontal disparity 来对Gaze 进行 depthestimate。

 

1月27日:

【14】Deep Mixtures of Factor Analysers: 2012

Hinton学派的一篇文章,提出了一种greedylayer-wise learning algorithm for Deep Mixtures of Factor Analysers。

 

1月28日:

【15】Deep Lambertian Networks: 2012

论文为了解决face detection中的illumination的问题,提出了Deep Lambertian Networks。

 

1月29日:

【16】Training Hierarchical Feed-Forward Visual Recognition Models UsingTransfer Learning from Pseudo-Tasks:2009

国内机器学习大牛于凯老师的文章,Building visual recognition models that adapt across differentdomaine is a challenging task for computer vision.

 

1月30日:

【17】卷积神经网络(百度文库上的一篇文章,没有具体的发表信息,但是对于卷积神经网络讲解的比较好)

神经网络的学习主要把握三个方面的知识点:网络结构,神经元的方程,学习方法。卷积神经网络的创新点主要是在于网络结构。卷积神经网络是一个多层网络,且分为特征提取层和识别层。

 

【18】Notes on Convolutional Neural Networks:2006

Jake Bouvrie,This documentdiscusses the derivation and implementation of convolutional neuralnetworks(CNNs), followed by a few straightforward extensions。

 

1月31日:

【19】 http://deeplearning.net/tutorial/lenet.html#lenet:

讲解了CNNs的两个主要概念:Sparse Connectivity和Shared Weights,并且有python的代码。

【20】http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi#topmost

从神经网络的概念开始讲,并且有很详细的C++代码。

 

LeCun、Bengio和Hinton综述论文《deep learning》 2015年,DL界三大神(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),为了纪念人工智能60周年,合作在Nature上发表深度学习的综述性文章。原文地址:Deep learning Review下载地址:Deep Learning Review译文地址: 上 下深入浅出的介绍了深度学习的基本原理和核心优势,详细介绍了CNN、分布式特征表示、RNN及其不同 阅读详情

相关推荐

「AI」人工智能的发展阶段:ANI、AGI与ASI

人工智能的发展历程充满了探索与挑战,但也取得了显著的成就。从ANI到AGI,再到ASI,每一个阶段都标志着技术上的重大突破和应用领域的拓展。未来,随着技术的不断进步和应用场景的拓展,AI将继续引领科技革命和社会变革的浪潮。然而,随着AI技术的广泛应用,也需要关注其带来的伦理、隐私和安全等问题,确保AI技术的健康发展。同时,全球的研究者、政策制定者和社会各界正在积极探讨如何确保AGI和ASI的安全、公平和透明,以及如何预防潜在的负面影响,为人工智能的未来发展奠定坚实的基础。何曾参静谧的博客。

何曾参静谧的博客 2032

A Fast Learning Algorithm for Deep Belief Nets

题目: A Fast Learning Algorithm for Deep Belief Nets 作者: Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh 单位: University of Toronto, University of Singapore 出版: Neural Computation, 2006 Logistic b

我爱写报告的博客 1万+

英伟达和深度学习的关系

Transformer的工作原理Transformer模型是一种基于自注意力机制的深度学习模型,它在自然语言处理(NLP)领域中取得了显著的成果。Transformer模型的核心思想是利用自注意力机制来捕获输入序列中不同元素之间的依赖关系,而不是像传统的循环神经网络(RNN)那样逐元素处理序列。自注意力机制自注意力机制(Self-Attention)是Transformer的核心组件,它允许模型在处理序列数据时为每个位置分配不同的注意力权重,从而捕捉序列中不同位置之间的依赖关系。

百态·数智思维 | 聚焦大数据、量化与未来AI 186

Hinton 深度学习论文总结

原文网址:http://blog.sina.com.cn/s/blog_870a639201019fbl.html 【1】A fast learning algorithm for deep belief nets: 2006 Hinton关于deep learning的代表作。Papershows how to use “complementary prior” to eliminate t

lioncv的专栏 1万+

【算法底座研究室】AI 高手之路 #8:AI、ML、DL 概念辨析——AI 世界的“地图”

人工智能 (Artificial Intelligence, AI),顾名思义,就是用人工的方法和技术,让计算机和机器能够模拟、延伸和扩展人类的智能。这里的“智能”涵盖了感知、学习、推理、解决问题、语言交流甚至创造力等多种能力。AI 的终极目标是创造出能够像人类一样思考、学习和行动的智能系统。机器学习 (Machine Learning, ML) 是人工智能的一个核心分支,也是实现人工智能的关键技术。机器学习的核心思想是,让计算机系统能够从数据中学习,而无需进行显式编程。

高校图书馆高级系统架构师/研究馆员,推动高校AI从概念演示到可评审、可交付、可运维:路线图与立项评审、PoC交付、评测回归与上线运维(Baseline/Eval/Ops)。 1591

AIGC的未来智能教育系统:认知发展阶段适应的提示词工程

文章标题 关键词 AIGC 智能教育系统 认知发展阶段 提示词工程 摘要 本文深入探讨了AIGC(自适应智能生成计算)在构建未来智能教育系统中的应用,特别是如何通过适应不同认知发展阶段的提示词

AI天才研究院 1041

Deep Reinforcement Learning 深度增强学习资源 (持续更新)

https://zhuanlan.zhihu.com/p/20885568 Deep Reinforcement Learning深度增强学习可以说发源于2013年DeepMind的Playing Atari with Deep Reinforcement Learning 一文,之后2015年DeepMind 在Nature上发表了Human Level Control through ...

zhuiqiuk的专栏 1272

语言模型推理能力的认知发展阶段相关性研究

本研究的主要目的是深入探究语言模型推理能力与人类认知发展阶段之间的相关性。随着人工智能技术的飞速发展,语言模型在自然语言处理领域取得了显著的成果。然而,对于语言模型推理能力的评估和提升,目前仍缺乏全面且深入的研究。认知发展阶段理论为理解人类思维和推理能力的发展提供了重要的框架。通过将语言模型的推理能力与人类认知发展阶段进行关联研究,我们可以更好地理解语言模型的优势和不足,为其进一步的优化和发展提供理论支持。

操作系统内核探秘的博客 533

DAY01:【DL】深度学习的概述

深度学习的核心定义是,其本质是通过模拟人类大脑神经元的连接方式,让系统从数据中自主学习规律,无需人工显式编程。这一定义既明确了其技术基础是深度神经网络,又点出了其自主学习、摆脱人工编程限制的关键特性,为理解深度学习的本质提供了核心框架。

CH3_CH2_CHO的博客 1200

《A fast learning algorithm for deep belief nets》原文

这篇paper是Hinton大牛在2006你那发表的文章,该文在神经网络的深度学习领域取得重大突破。

DeepSeek赋能CAD:从API调用到智能设计工作流的实战指南

本文详细介绍了如何利用DeepSeek AI技术赋能CAD设计工作流,从API调用到智能设计优化的实战指南。通过Python环境配置、API接入详解以及四大智能设计场景的实战案例,帮助CAD设计师实现参数化设计优化、自动规范检查等高效工作方式,大幅提升设计效率和质量。

weixin_29092579的博客 632

人工智能(3)发展阶段

人工智能的发展阶段有哪些? (1)第一阶段(20 世纪50 年代中期到80 年代初期):深耕细作,30 年技术发展为人工智能产业化奠定基础。在1956 年之前,人工智能就已经开始孕育。 (2)第二阶段(20 世纪80 年代初期至21 世纪初期):急功近利,人工智能成功商用但跨越式发展失败。80 年代初期,人工智能逐渐成为产业,第一个成功的商用专家系统R1 为DEC 公司每年节约4000 万美元左右的费用。 (3)第三阶段(21世纪初期至今):量变产生质变,人工智能有望实现规模化应用。摩尔定律和云计算带

m0_62703957的博客 1万+

让数学变得更生动manim库的使用(1)-基本概念

0、概述 数学理论与数学公式的展示总是一件很枯燥的事情,但3b1b的manim动画库在github上开源之后,让这一切变得非常简单。目前这个库已经分成两个版本一个由3b1b自身维护。但作者并没有承诺长期维护该库,所以由专门团队再次基础上研发了相应的社区版,并对该版本进行长期维护。本文的所有案例都基于社区版的官方案例。本文主要介绍该库的基本概念相关的案例,文章主要以代码为主,关键代码都有相关注释。 另外本文的运行环境维jupyter这与其他的ide环境运行代码稍微有些不同 1、类库引入已经相关测试 引

amao1998的博客 9967

NLP02-NLP的三个发展阶段概述

自然语言处理(NLP)是人工智能的重要分支,涉及计算机对人类语言的理解、生成和应用。在本文中,我们将聚焦于NLP的三个发展阶段,并探讨各阶段的特点和代表性技术。二、基于规则的自然语言处理(rule-basedNLP)。学者利用规则进行机器翻译、情感分析、文本理解和生成的阶段。三、统计自然语言处理(Statistical NLP)统计自然语言处理是基于概率和统计模型的方法,通过从大规模语料库中学习语言规律来完成各种任务。学者利用统计方法进行词性标注、句法分析、机器翻译、文本分类和信息检索等任务。

m0_74803856的博客 486

APP抓包-代理转发绕过反代理+Xposed绕过证书校验

而这里的牛牛不止设置了反代理还设置了证书校验,一闪而过的三个数据包就是在校验证书。而proxifier工具的转发机制获取的是网络接口出口数据,相当于是在网络接口设代理。这个时候就可以在夜神打开牛牛开始抓包了,打开牛牛可以看到proxifier有夜神流量通过。关闭代理之后牛牛就正常了,可恶的牛牛啊,这样我没办法抓包啊,怎么办啊。模拟器开启代理,burp开启监听。打开牛牛app,牛牛不在报错。牛牛app检测的是系统代理,也就是在模拟器或手机上设置的代理。再在浏览器下载两个模块,在夜神安装,用来屏蔽证书校验。

xiaoheizi的博客 7532

MIMIC-IV数据库中患者院内死亡的单因素生存分析

目的 由易到难,对mimic-iv的查询进行实际操作,体现先前文章中提到的mimic-iv数据查询的规律。 数据分析计划 死亡,是重症患者最重要的结局指标,在MIMIC数据库中收录了院内死亡的数据,以及进出ICU的时间(和进出医院的时间),所以我们可以获得是否死亡,以及从入ICU(或入院)到死亡发生之间的时间,有了这两个指标,我们可以通过Cox单因素(参数和非参数)模型来观察ICU(和医院)内死亡的趋势,以及某个变量(比如,性别和种族等)对死亡趋势的影响,以为后续的分析奠定基础。 数据的获取 我们需要数个变

skyskytotop的博客 3186

NLP的发展阶段

自然语言处理(Natural Language Process,简称NLP)是计算机科学与自然语言交互的一门学科,主要目的是使计算机能够理解自然语言处理以便能够完成相应的任务。目前在NLP领域内通常都是通过语言模型来解决相应的问题,而语言模型是对人类语言的内在规律进行建模,从而能够准确的预测未来(或缺失)或词元(token)的概率。根据所采用技术方法的不同,目前语言模型相关的研究工作可以分为以下四个不同的发展阶段。

GuiBin1的博客 1325

Coze:手把手教你搭建 小红书二创 智能体

前一篇 “” ,讲了如何针对需求进行拆解,并拆解 ”小红书二创“ 智能体,分为四个内容模块。通过上述步骤,开始一步一步构建 “小红书二创” 智能体。用来测试的小红书地址:http://xhslink.com/a/quxWEDAj3J48。

保持敏感!保持学习! 1436

人工智能的发展阶段

人工智能(AI)自20世纪中叶诞生以来,经历了多次技术突破与产业变革,其发展历程可划分为六大阶段。

qq_41805932的博客 2042

Python批量注册脚本开发详细

开发一个Python批量注册脚本需要考虑多个方面,包括目标网站的注册流程、验证码处理、请求发送、数据存储等。以下是一个详细的开发流程和代码示例,用于实现基本的批量注册功能。

nsp202505的博客 3352

自动驾驶开发者必看:nuscenes数据集23类物体标注全解析(附避坑指南)

本文深入解析nuscenes数据集的23类物体标注系统,为自动驾驶开发者提供全面的标注规范解读和实战避坑指南。涵盖多模态数据组织、类别细分规则、属性系统应用技巧以及标注质量验证方法,帮助开发者高效利用这一标杆数据集提升模型性能。

weixin_29041767的博客 259

人工智能、机器学习和深度学习,其实不是一回事

这几年 AI、机器学习、深度学习被说烂了,但很多人其实一直没分清。简单点讲:AI 是目标,让机器变聪明;机器学习是方法,让机器从数据里自己学规律;深度学习是机器学习里最火的一种路子。把层级理顺,比背一堆概念有用多了。

专注于 Agent 工程、AI 产品、Harness Engineering、LLM 算法等方向,OpenMathModel、Nivik 等开源项目作者 10万+

Windows 下运行 openclaw 出现“‘openclaw‘ 不是内部或外部命令,也不是可运行的程序或批处理文件“的解决方案

方案适用场景推荐指数检查并手动添加 PATH明确知道全局安装目录,只是没加进PATH⭐⭐⭐⭐⭐pnpm setup 自动配置使用 pnpm 安装,想要省心的自动化方式⭐⭐⭐⭐⭐npx 免安装临时运行快速验证核心程序是否正常,排除法排查⭐⭐⭐⭐清理残留后重装npm/pnpm 混用导致版本混乱⭐⭐⭐⭐改用 WSL2不熟悉 Windows 路径体系,长期使用⭐⭐⭐'openclaw' 不是内部或外部命令这类报错,本质上不是"程序坏了",而是。

一键难忘的博客 1万+

深度学习——深度学习发展历程

深度学习的一些原理 卷积计算 这个就是普通的卷积计算原理,输入有3个通道,输出有2个通道,没加激活函数等。 如上图所示,输入有3个通道,输出有2个通道,也就是有2个卷积核(一个卷积核就是322)。对于每个卷积核,先在输入3个通道分别作卷积,再将3个通道结果加起来得到卷积输出。所以对于某个卷积层,无论输入图像有多少个通道,输出图像通道数总是等于卷积核数量! (1)参数量就是:输入通道数卷积核的宽度卷积核的高度*输出通道数 (2)计算量:补0和不补0不一样 (3)总结: <1>卷积核是3维的,其中

xiaotiig的博客 2万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

深度学习基础及其发展与应用|AI|ML|DL|算法框架

深度学习的优点包括精确度高、性能好、效果好,能够拟合任意非线性的关系,且框架多,不需我们自己造轮子。然而,它也存在一些缺点,如黑箱、可解释性差,网络参数多、超参数多,需要大量的数据进行训练,训练时间长,对算力有较高要求,且小数据集容易过拟合。此外,深度学习还应用于视频分析(行为分析、实时视频处理等)、游戏和仿真(AI对战、环境模拟等)、推荐系统(个性化推荐)、金融领域(风险评估、欺诈检测等)等多个领域。用统计模型解决问题。百度开发的框架,计算图动态图都支持、有高级API、速度快、部署方便、有专门的平台。

DREAM_xs的博客 2011

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

人工智能核心概念及发展阶段全解析

摘要:人工智能(AI)是通过模拟人类智能实现感知、学习和决策的技术,核心载体包括大模型、AIGC(内容生成)等,依赖算力和Token等关键要素。AI分为弱人工智能(特定任务)、强人工智能(通用智能)和超人工智能(理论设想)三类。其发展经历了规则驱动、数据驱动与深度学习阶段,目前正向通用智能过渡。AI作为效率工具可辅助人类工作,掌握基础概念有助于更好地应用AI技术。未来AI将更广泛影响生活,但发展方向仍由人类主导。

TechGuru_的博客 2240

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 目标检测
下一篇: latex 初探
DevinDujun
博客等级 码龄11年 18粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值