机器学习流行趋势一览

机器学习三次浪潮 机器学习三次浪潮机器学习的三次浪潮也可以说是人工智能的三次浪潮,因为机器学习是人工智能(Artificial Intelligence)研究发展到一定阶段的必然产物。 1956 Artificial Intelligence 提出 1956 年夏季,以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会,共同研究和探讨用机器模拟智能的一系列有关问题,并首次提出了“人工智能”这 阅读详情

(点击上方公众号,可快速关注)

你用过 Google Trends 吗?相当酷,输入一些关键词,然后能看到它们在谷歌中的搜索趋势变化。刚好 arxiv-sanity 论文数据库在过去 5 年内有 28303 份机器学习相关论文,所以我想,为什么不做一些类似的事情,来看看机器学习研究在过去 5 年是如何进展的?结果相当有趣,所以我想我该写篇文章分享一下。

注:机器学习是一个大领域。本文偏重的领域是深度学习——这是我最熟悉的一个分区。

arxiv 奇点

让我们首先看下,在 arxiv-sanity 上(cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)的论文提交总数,见下图:

0?wx_fmt=jpeg

(点击图片,双指缩放查看大图,以下类同)

是的, 2017 年 3 月这些领域差不多提交了 2000 份论文。峰值可能与会议(比如 NIPS/ICML)的截止日期有关。注意,这里并不能说明该领域本身论文数量规模,因为并不是所有人都会把论文提交到 arxiv ,而且研究人员对一部分论文的分类会随时间变化。但值得指出的是,这些领域有大量的论文。

把论文的总数作为分母。我们现在可以看下这部分论文包含了哪些我们感兴趣的特定关键词。

深度学习框架

先预热下,让我们看看正在使用的那些深度学习框架。计算这个值时,在整篇论文中任何地方(包括提到的参考书目书名等)提到深度学习框架的这部分论文都被记录在内。对上传于 2017 年 3 月的这部分论文,我们得到如下结果:

0?wx_fmt=png

也就是说,2017 年 3 月提交的论文中有 10% 提到了 TensorFlow 。当然,不是每篇论文都声明了它使用的框架,但如果我们假定那部分声明了该框架的论文,对框架使用有一个比较固定概率的话,那么大约 40% 的社区目前正在使用  TensorFlow (甚至更多,如果你把带 TF 后端的 Keras 也算上)。下图可以看出一些比较流行的框架是如何随时间演变的:

0?wx_fmt=jpeg

我们可以看到  Theano 已经出现一段时间了,但是它的增长几乎停滞。Caffe 在 2014 年急速猛增,但是在过去几个月被  TensorFlow 赶超。Torch(以及最近的 PyTorch)也在攀升,虽缓慢但稳定。接下来几个月的发展会很有趣——我个人的猜测是 Caffe/Theano 会继续有一个缓慢的下降,以及由于 PyTorch 的出现, TF 的增长会稍微变得缓慢。

ConvNet 模型

就乐趣而言,我们何不来看下常见的 ConvNet 模型?这里,我们清楚地看到 ResNets 有一个巨大的攀升:2017 年 3 月它们出现在 9% 的论文中:

0?wx_fmt=jpeg

还有,在 InceptionNet 之前谁在讨论 inception?我对此表示好奇。

优化算法

在优化算法方面,看起来  Adam 连连获胜,2017 年 3 月 23% 的论文中都出现了它!实际的使用比例很难估测;它可能高于 23%,因为一些论文没有声明优化算法,而且很大一部分论文可能甚至没有优化任何神经网络。然后它还可能就是 5% 左右,因为 Adam 在 2014 年 12 月才发布,并且可能与论文作者名字冲突。

0?wx_fmt=jpeg

研究者们

我还好奇深度学习领域重要人物的提及情况,因此作出下图(这有点类似于论文引用量计数,但是:① 它比论文的“0/1”计数更稳定, ② 对总范围进行了标准化。

0?wx_fmt=jpeg

值得注意的几点:提交的论文中有 35% 提到了“bengio”,这里有两个 Bengio :  Samy Bengio 和  Yoshua Bengio,我们做了合并。  Geoff Hinton 出现的比例超过 30%!看起来很高。

热点或非热点关键词

最后,我们不去对关键词做手动分类,而是看一下热点(hot)或者非热点的关键词。

Top hot keywords   排前列的热点关键词

对此有多种定义,但是这次尝试中我查看了所有论文中每个 unigram(单个 word )或 bigram ( 双 word ),并记录了相比于去年最大使用量的比例。高于这个比例,就是去年有较大潜力但是今年表现出更高的相对频率。热点关键词排名结果如下:

8.17394726486 resnet

6.76767676768 tensorflow

5.21818181818 gans

5.0098386462 residual networks

4.34787878788 adam

2.95181818182 batch normalization

2.61663993305 fcn

2.47812783318 vgg16

2.03636363636 style transfer

1.99958217686 gated

1.99057177616 deep reinforcement

1.98428686543 lstm

1.93700787402 nmt

1.90606060606 inception

1.8962962963 siamese

1.88976377953 character level

1.87533998187 region proposal

1.81670721817 distillation

1.81400378481 tree search

1.78578069795 torch

1.77685950413 policy gradient

1.77370153867 encoder decoder

1.74685427385 gru

1.72430399325 word2vec

1.71884293052 relu activation

1.71459655485 visual question

1.70471560525 image generation

举例来说, ResNet 的比例是 8.17,因为 1 年前( 2016 年 3 月——最大使用量的月份)它在所有提交的论文中出现的比例是 1.044% ,而上月( 2017 年 3 月)是  8.53% ,  8.53 / 1.044 ~= 8.17。

所以可以从上图看到,过去一年盛行的核心创新是: 1) ResNets、2) GANs,、3) Adam、4) BatchNorm。在研究中多使用这些模型。

在研究兴趣方面,我们看到的是 1)风格转换、2) 深度强化学习、3) 神经网络机器翻译 (“nmt”),以及 4) 图像生成 。

在架构上,热点使用是 1) 全卷机网络 ( FCN )、2)  LSTMs / GRUs 、3)  Siamese  网络,以及 4) 编码器-解码器网络。

0?wx_fmt=jpeg

非热词

在相反的方面呢?有哪些词过去一年有较少的提交,但是历史上较高。以下列举了一些:

0.0462375339982 fractal

0.112222705524 learning bayesian

0.123531424661 ibp

0.138351983723 texture analysis

0.152810895084 bayesian network

0.170535340862 differential evolution

0.227932960894 wavelet transform

0.24482875551 dirichlet process

我不确定 “fractal” 指什么,但是一般来说看起来像是贝叶斯非参数受到攻击。

结论

现在提交的论文主题应该是围绕全卷积编码器解码器  BatchNorm  ResNet  GAN( Fully Convolutional Encoder Decoder BatchNorm ResNet GAN )应用于风格转换,用 Adam 进行优化。这听起来似乎没那么不着边际。

(编译:伯乐在线/技术最前线 - 郑芸,英文:Andrej Karpathy)

看完本文有收获?请转发分享给更多人

关注「大数据与机器学习文摘」,成为Top 1%

640?wx_fmt=jpeg

阿里音乐流行趋势预测大赛一起做-(1)介绍 动机去年在同学推荐下参加了阿里的“资金流入流出预测大赛”,当时对数据挖掘的了解仅存在模糊的概念上,看了那本《大数据时代》后热血沸腾了几天,趁着这三分钟热度还没冷,就在什么都不懂的情况下报名开始搞了。我们三个队员都是新手,刚开始一片茫然后来是手忙脚乱。第一赛季在本地调试算法,期间换了Python,R,MATLAB各种平台和开发环境,倒腾了一个多月,幸运地进入了第二赛季。第二赛季在线上比赛,阿里要求利用 阅读详情

相关推荐

阿里音乐流行趋势预测大赛一起做-(3)思路

最近几个月忙着写论文,比赛给抛到脑后了(汗颜。。)。昨天阿里给了短信通知,说今天可以提交成绩了,于是抓紧搞起,结果也没赶上截止时间(早上10点)提交。无论如何今天也要提交一次成绩试试水。比赛的详细思路其实我也没怎么想好,有一些初步的想法和实践分享一下。思路我的想法比较简单,就是先用最简单的方法做一下,提交一次成绩,让自己有参与感,然后在后续不断的迭代更新中提升自己。要想达到提交成绩的地步,我们采用倒

计算机视觉life 8299

机器学习----流行学习(manifold learning)的通俗理解

流形学习(manifold learning)是一类借鉴了拓扑流行概念的降维方法,在降维时,若低维流行嵌入到高维空间中,则数据样本在高维空间的分布虽然看上去十分复杂,但在局部上仍具有欧式空间(对现实空间的规则抽象和推广)的性质。 我们先来理解流形: 流形(manifold)是一般几何对象的总称,包括各种维度的曲线与曲面等,和一般的降维分析一样,流形学习是把一组在高维空间中的数据在低维空间中重新表示。不同之处是,在流形学习中假设:所处理的数据采样与一个潜在的流形上,或者说对于这组数据存在一个潜在的流形。 为

weixin_43580130的博客 1万+

python爬虫项目(八):爬取B站视频数据并进行视频流行趋势预测

随着视频平台的普及,B站(哔哩哔哩)作为中国知名的弹幕视频网站,拥有大量用户和内容创作者。我们可以利用ARIMA模型进行时间序列预测,特别适合预测连续时间点上的数据,如视频播放量的增长趋势。# 可视化相关系数矩阵。

斌擎科技 2901

2020年图机器学习的最新趋势

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Sergei Ivanov编译:ronghuaiyang导读2020年才刚刚开始,但我们已经在最新的研究论文中看到了图机器...

AI公园 818

推荐论文。 学科:计算机视觉与模式识别(cs.CV); 人工智能(cs.AI); 学习(cs.LG)-Python开发

推荐论文本文档旨在为计算机视觉领域的深度学习提供阅读清单。 推荐链接songrotek的深度学习论文阅读路线图如果您是推荐论文,则本文档旨在为计算机视觉领域的深度学习提供阅读清单。 推荐的链接songrotek的《深度学习论文阅读路线图》如果您是深度学习领域的新手,那么您可能会遇到的第一个问题是“我应该从哪篇论文开始阅读?” 这是深度学习论文的阅读路线图! 通过任务链接sbrugman深度学习论文中的“深度学习论文”列表! 链接dennyb的深度学习论文笔记

STM32+CubeMX实战:5步搞定LWIP HTTP服务器搭建(附常见编译错误解决)

本文详细介绍了基于STM32和CubeMX平台,快速搭建LWIP HTTP服务器的5步实战指南。内容涵盖从项目初始化、LWIP深度配置到解决经典的`HTTPD_FSDATA_FILE`编译错误,并分享了使用VSCode进行高效开发的工作流,旨在帮助嵌入式开发者快速实现网络功能并规避常见陷阱。

weixin_29192365的博客 578

目前最流行的15个机器学习框架,你知道几个?

机器学习工程师是开发产品和构建算法团队中很重要的一部分,他们和数据专家密切合作来了解理论知识和行业应用。数据专家和机器学习工程师的主要区别是:•   机器学习工程师构建、...

深度学习世界 7906

以太网详解(一)-MAC/PHY/MII/RMII/GMII/RGMII基本介绍

网络设备中肯定离开不MAC和PHY,本篇文章将详细介绍下以太网中一些常见术语与接口。 MAC和PHY结构 从硬件角度来看以太网是由CPU,MAC,PHY三部分组成的,如下图示意: 上图中DMA集成在CPU,CPU,MAC,PHY并不是集成在同一个芯片内,由于PHY包含大量模拟器件,而MAC是典型的数字电路,考虑到芯片面积及模拟/数字混合架构的原因,**将MAC集成进CPU而将PHY留在片外,这种...

sternlycore的博客 13万+

【赠书第19期】跨平台机器学习:ML.NET架构及应用编程

在微软最有价值专家(16届)的指导下,运用跨平台机器学习框架ML.NET来创建机器学习解决方案,将人工智能技术应用于实际任务场景中。

无人机开发(开源Ardupilot) 2万+

VL53L1X vs VL53L0X:激光测距传感器选型指南与性能对比

本文深入对比了VL53L1X与VL53L0X两款激光测距传感器的核心差异。VL53L1X采用区域ToF原理,在抗环境光干扰、最大测距及多目标识别方面优势显著,尤其适合复杂光线与动态场景。文章结合机器人避障、无人机定高等实战场景,提供了清晰的选型决策树,帮助工程师根据测距需求、环境复杂度与系统成本做出最优选择。

weixin_29197699的博客 395

浅谈向量检索

文章目录浅谈向量检索背景什么是向量什么是向量检索距离度量检索方法ANN的基本思路举个容易理解栗子举个正常的例子具体算法树方法KD-TreeAnnoyHash方法LSH 算法矢量量化方法乘积量化码本的建立码字搜索算法倒排乘积量化临近图方法HNSW 算法朴素想法Delaunay算法NSW 主要思想NSW构图NSW查找参考 浅谈向量检索 背景 索引一直被认为是检索引擎最重要的组成部分,之所以数据库能够快速的查询出来结果。系统设计中很多常见的多种数据结构都是为了快速命中索引设计的, 比如 红黑树、跳跃表、倒排索引、

qq_42828391的博客 6554

竞赛级 ML 实践:从 Kaggle 到 ML 流行赛事的经验与教训

1.背景介绍 人工智能(AI)和机器学习(ML)技术在过去的几年里取得了巨大的进展,这主要归功于大规模数据集和先进的算法。在这个过程中,竞赛级 ML 实践在 Kaggle 和 ML 流行赛事中得到了广泛应用。这些竞赛提供了一个平台,让研究人员和实践者可以共同参与,共同解决复杂的问题。在本文中,我们将探讨竞赛级 ML 实践的背景、核心概念、算法原理、具体操作步骤、代码实例以及未来发展趋势。 1....

AI天才研究院 1054

别再只看OPLS-DA得分图了!R2Y和Q2Y到底怎么看?一次讲透代谢组学模型验证

刚接触代谢组学数据分析的研究者,往往会被OPLS-DA得分图中清晰的分组效果所吸引,迫不及待地认为发现了显著差异。这种"看图说话"的冲动,恰恰是许多科研新手在审稿或项目汇报中遭遇质疑的根源。真正专业的分析,需要穿透图形表象,深入理解模型验证指标R2Y和Q2Y背后的统计学意义。

weixin_28683391的博客 182

机器学习流行算法一览

这篇文章介绍几个最流行的机器学习算法。现在有很多机器学习算法,困难的是进行方法归类,这里我们介绍两种方法进行思考和分类这些算法。第一组算法是学习风格,第二组是在形式和功能上类似。 学习风格   一个算法基于问题建模有不同的方法,无论这个问题是基于经验或环境的交互,或者是基于我们需要输入的数据,学习风格是机器学习首先必须考虑的问题。   下面我们看看一些算法的主要学习风格或者称为学习模型。

William Zhao's notes 8357

出现 Connection Failed [MySQL][ODBC Driver]Access denied for user ‘root‘@x(using password:YES)解决方法

Connection Failed [MySQL][ODBC 8.0(w) Driver]Access denied for user 'root'@xxxx (using password:YES)

码农研究僧的博客 1062

深入理解鸿蒙输入子系统驱动:HDI接口、HAL层与内核驱动的协同机制

/ 扫描输入设备// 打开指定输入设备// 关闭指定输入设备// 获取指定设备信息// 获取所有设备列表鸿蒙输入子系统驱动采用分层架构设计,通过HDI接口层实现硬件抽象,HAL层提供统一的事件处理机制,用户空间驱动层负责设备管理和事件分发。整个系统支持多种输入设备类型,包括触摸屏、按键、鼠标、键盘等,并提供了完整的HID设备支持。分层架构:清晰的层次划分,便于维护和扩展事件驱动:基于epoll的高效事件处理机制设备管理:完善的设备生命周期管理HID支持。

m0_67505153的博客 214

归纳偏好与网络流行趋势:预测与分析

1.背景介绍 随着互联网的普及和网络技术的发展,人们在网络上产生和分享的数据量日益庞大。这些数据包括文本、图像、音频、视频等多种形式,涉及到各个领域,如社交媒体、电商、搜索引擎、新闻媒体等。在这海量数据中,人们关注的焦点和热点也会随着时间的推移而发生变化。因此,分析和预测网络流行趋势成为了一项重要的研究方向,具有重要的实际应用价值。 在这篇文章中,我们将从以下几个方面进行讨论: 背景介绍 ...

AI天才研究院 1124

华为MetaERP PTP采购到应付全流程解析

摘要:本文系统解析华为MetaERP中的PTP(采购到应付)全流程管理方案,涵盖从采购申请到付款执行的完整业务流程。文章详细分解了PR、PO、GR、IV、AP等关键环节的财务核算规则,并提供了预算校验、库存更新等Python代码示例。同时阐述了IT落地架构设计,包括会计引擎配置、系统集成方案及银企直连支付接口实现。该方案通过三单匹配自动化和智能会计引擎,将处理效率提升10倍(200笔/人天→2000笔/人天),实现98%的自动化率,为集团企业提供了高效的数字化财务管理样板。文中所有技术方案均需根据实际场景调

金牌架构师 1744

人工智能如何改变音乐流行趋势

1.背景介绍 音乐是人类文明的一部分,它在文化、艺术和社会方面发挥着重要作用。随着人工智能(AI)技术的发展,它已经开始改变音乐领域的各个方面,包括音乐创作、流行趋势和推荐。在这篇文章中,我们将探讨人工智能如何改变音乐流行趋势,以及其背后的核心概念、算法原理和实例。 音乐流行趋势是一种复杂的现象,它受到多种因素的影响,包括社会、文化、经济和技术因素。随着人工智能技术的发展,它们已经开始影响音乐...

AI天才研究院 1040

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Nano-Banana Studio与机器学习:服装流行趋势预测

本文介绍了如何在星图GPU平台上自动化部署🍌 Nano-Banana Studio: 衣服拆解展示台镜像,实现服装的深度拆解与结构化分析。该镜像可应用于服装流行趋势预测,通过分析设计元素、颜色和面料等数据,帮助品牌精准预测市场需求,提升产品规划的准确性和效率。

weixin_33670640的博客 94

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

基于大数据的音乐流行趋势预测及推荐分析 毕业论文+项目源码+爬虫源码+网页端源码+数据库sql文件+部署说明+演示视频

系统实现用户对音乐评分的搜集(Python爬虫爬取数据),后端使用大教据推荐算法构造,前端使用MVC框架搭建大数据音乐推荐系统。系统教据序使用了关系型教据库MySQL。前端收集过用户行为数据后传到后端使用基于用户的协同过滤算法来推荐出用户可能喜欢的音乐。采用BS架构,使用Java程序设计语言、MySQL数据库、Hadoop离线分析、 java 开源工具Eclipse编写程序、Java的JRE运行环境、JSP页面等工具开发而来。 音乐流行趋势预测为企业预测未来流行音乐走向、预判黑马音乐提供了理论支撑和决策上

优创学社 4306

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

机器学习与数据科学:ML.NET和SciSharp STACK生态

机器学习与数据科学:ML.NET和SciSharp STACK生态 【免费下载链接】awesome-dotnet quozd/awesome-dotnet: 这个资源列表集合了.NET开发领域的优秀工具、库、框架和软件等,是.NET开发者的一个宝库,有助于发现和学习.NET生态系统中的各种有用资源。 ...

gitblog_00082的博客 1023

D1-阿里音乐流行趋势预测竞赛数据清洗整合——纯python

赛题和数据经过7年的发展与沉淀,目前阿里音乐拥有数百万的曲库资源,每天千万的用户活跃在平台上,拥有数亿人次的用户试听、收藏等行为。在原创艺人和作品方面,更是拥有数万的独立...

Pysamlam的博客 2639

AutoML:机器学习的下一波浪潮

AI 前线导读:人工智能和机器学习仍然是一个进入门槛较高的领域,需要专业的知识和资源,很少有公司可以自己承担。—— 李飞飞自动机器学习(AutoML)是将机器学习应用于现实问题的端到端流程自动化的过程。AutoML 使真正意义上的机器学习成为可能,即使对于没有该领域专业知识的人也是如此。本文介绍了一些流行的 AutoML 框架,这些框架的趋势是自动化部分或整个机器学习的管道。更多优质内容请关注微...

ningyanggege的博客 1362

Python基于大数据的音乐流行趋势预测及数据分析

随着大数据技术的迅猛发展,音乐产业逐渐认识到数据分析在趋势预测中的重要作用。然而,传统的音乐流行预测方法往往受限于数据量小、分析手段单一等问题,难以准确反映市场真实情况。因此,开发一种基于大数据的音乐流行趋势预测及数据分析系统显得尤为迫切。通过构建基于大数据的音乐流行趋势预测及数据分析系统,实现对海量音乐数据的深度挖掘和分析。该系统不仅有助于音乐制作人、唱片公司等产业参与者更加精准地把握市场脉动,制定有效的推广策略,还能为音乐爱好者提供个性化的推荐服务,提升用户体验。

QQ860234001的专栏 1092
上一篇: “最黑颜料2.0” 问世:吞噬一切光线
下一篇: Brainfuck 编程语言很烧脑?有了它,理解 BF 更简单了
redditnote
博客等级 码龄12年 51粉丝 145原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值