NIPS2018-How Many Samples are Needed to Estimate a Convolutional Neural Network?

最新推荐文章于 2020-12-19 03:53:15 发布

转载最新推荐文章于 2020-12-19 03:53:15 发布 · 154 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/domath/p/10696748.html

本文探讨了如何估计训练卷积神经网络所需的样本数量，提出更紧凑的模型表示能减少所需样本，介绍了一种不依赖于模型容量的一般化界限理论，为理解和优化深度学习模型的训练过程提供了新的视角。

paper: How Many Samples are Needed to Estimate a Convolutional Neural Network?

Abstract:
more compact representation ==> less sample

generalization bound 不是基于 model capacity 的，令人耳目一新。

重点截图

留待处理的疑难点

转载于:https://www.cnblogs.com/domath/p/10696748.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30348519

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Controllable Multi-Interest Framework for Recommendation

weixin_41697507的博客

07-23

3672

Controllable Multi-Interest Framework for Recommendation ABSTRACT Recently, neural networks have been widely used in e-commerce recommender systems, owing to the rapid development of deep learning. We formalize the recommender system as a sequential recom

Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning

weixin_41697507的博客

07-01

2153

Averaged-DQN：深度强化学习的方差减少和稳定性 Abstract Instability and variability of Deep Reinforcement Learning (DRL) algorithms tend to adversely af-fect their performance. Averaged-DQN is a sim-ple extension to th...

参与评论您还未登录，请先登录后发表或查看评论

cub数据集多少张图片_多少张图片构成的数据集才算是足够大，可以用来训练CNN？...

weixin_39526872的博客

12-19

1463

前几天我们回答过一个问题：机器学习要求多大的数据量？机器学习要求多大的数据量？我做的东西到底是不是机器学习？www.zhihu.com里面简单提到了两个技巧：10 倍法则和学习曲线。那么如果具体到如题主所说的图像数据集呢？对于这个问题，谷歌机器学习大牛 Peter Warden 发过一篇博客专门探讨过，我们看看他是怎么说的：今天，有人问了我(Peter Warden——译者注)一个经常被问到的问...

NIPS 2018 paper list（论文列表）

人工智能技术学习与分享

12-03

1万+

Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization Francis Bach Structure-Aware Convolutional Neural Networks Jianlong Chang, Jie Gu, Lingfeng Wang, GAOFENG MENG, ...

一步一步分析讲解深度神经网络基础-Convolutional Neural Network

热门推荐

凡难事必作于细的博客

12-25

2万+

Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural

在线多分支融合——Knowledge Distillation by On-the-Fly Native Ensemble

AI Flash

10-02

3881

"Knowledge Distillation by On-the-Fly Native Ensemble"这篇文章基于给定的基础网络（如Resnet等），通过在网络深层次构造多分支结构，且每个分支作为学生网络，能够融合生成推理性能更强的教师网络。进而，通过教师/学生网络的共同在线学习、教师知识的反馈蒸馏，能够训练得到性能优越的单分支模型或多分支融合模型。基于ONE（On-the-Fly ...

Knowledge Distillation by On-the-Fly Native Ensemble论文解读

swpdcsdn的博客

01-21

1274

1. 网络结构： Gate为全连接网络，用来学习哪个网络更重要。目前利用全连接网络选择网络部件重要性的方法很流行。“三个臭皮匠顶个诸葛亮？”，感觉很像bagging方法。 2. 损失函数：训练时softmax都有温度T=3蒸馏，测试时就恢复T=1。最终的Loss 第一项代表各个分支的损失，第二项代表最后Teacher的损失，第三项代表各...

对抗样本方向（Adversarial Examples）2018-2020年最新论文调研

huitailangyz的博客

06-15

1万+

调研范围 2018NIPS、2019NIPS、2018ECCV、2019ICCV、2019CVPR、2020CVPR、2019ICML、2019ICLR、2020ICLR 2018NIPS Contamination Attacks and Mitigation in Multi-Party Machine Learning（防御）作者：Jamie Hayes(Univeristy College London) Olga Ohrimenko(Microsoft Research) 摘要：Machine

目标检测经典论文——Faster R-CNN论文翻译：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Net

bigcindy的博客

07-29

5556

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Faster R-CNN：通过Region Proposal网络实现实时目标检测 Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Abstract State-of-the-art object detection networks depend on r...

2018顶会论文汇编

SIGAI_优快云的博客

12-27

7261

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源 CVPR 2018 大会时间：6月18日~22日会议地点：盐湖城，UTAH 国际计算机视觉与模式识别会议（Conference on Computer Vision and Pattern Recogniti...

NIPS 2018 接收论文list 完整清单

TomRen

09-12

2万+

NIPS2018 接收论文包括poster、tutorial、workshop等，目前官网公布了论文清单： https://nips.cc/Conferences/2018/Schedule 同时还给出了workshop介绍。

Not Marry Lifelong

《丁香花苑笔记》

09-01

969

Now mom and dad are argueing about whether to divorce or not. Today I was informed that a girl I prefer in class had married and had a daughter already. Furthermore, the day after tomorrow I

on-the-fly 动态解码

libeicuo8108的博客

05-18

1610

1.静态解码： composition determinization minimization 2. 语言模型重评估：文章《电话交谈语音识别中基于LSTM-DNN语言模型的重评估方法研究》声学模型只能识别语音信号中音素、音节、或者词的相似程度，但不能捕捉到词与词之间的相关性。语言模型则可以利用不同的上下文关系，或者其他语言学信息来预测每一个词可能发生的概率。可以解决声学模型混...

[论文]A Link-Based Approach to the Cluster Ensemble Problem

weixin_33869377的博客

12-02

415

论文作者：Natthakan Iam-On, Tossapon Boongoen, Simon Garrett, and Chris Price 下次还是在汇报前先写了论文总结，不然有些点汇报时容易忘了说，以前看的论文看补不补上来吧，有时间再说。前言：这篇论文是关于聚类集成的，成熟的聚类集成框架是将多个聚类算法的结果汇聚在一起，然后使用一致性函数得出最终的聚类结果，论文中...

深入浅出：Knowledge Distillation by On-the-Fly Native Ensemble

qq_36616304的博客

05-23

1353

简述：这是一篇关于知识蒸馏的论文，知识蒸馏可有效地训练小型通用网络模型，以满足低内存和快速运行的需求。现有的离线蒸馏方法依赖于训练有素的强大教师，这可以促进有利的知识发现和传递，但需要复杂的两阶段训练程序。作者提出了一种用于一阶段在线蒸馏的动态本地集成（ONE）学习策略。具体来说，ONE只训练一个单一的多分支网络，而同时动态地建立一个强大的教师来增强目标网络的学习。模型overview ONE体系结构如上图所示。ONE包含两个组件：（1）m个具有相同配置的分支。其中每个分支共享低层的.

sharding-jdbc示例代码

12-19

sharding-jdbc示例代码

ENVI+Deep+Learning+V1.0深度学习操作教程

12-19

内容概要：本文介绍了ENVI Deep Learning V1.0的操作教程，重点讲解了如何利用ENVI软件进行深度学习模型的训练与应用，以实现遥感图像中特定目标（如集装箱）的自动提取。教程涵盖了从数据准备、标签图像创建、模型初始化与训练，到执行分类及结果优化的完整流程，并介绍了精度评价与通过ENVI Modeler实现一键化建模的方法。系统基于TensorFlow框架，采用ENVINet5（U-Net变体）架构，支持通过点、线、面ROI或分类图生成标签数据，适用于多/高光谱影像的单一类别特征提取。; 适合人群：具备遥感图像处理基础，熟悉ENVI软件操作，从事地理信息、测绘、环境监测等相关领域的技术人员或研究人员，尤其是希望将深度学习技术应用于遥感目标识别的初学者与实践者。; 使用场景及目标：①在遥感影像中自动识别和提取特定地物目标（如车辆、建筑、道路、集装箱等）；②掌握ENVI环境下深度学习模型的训练流程与关键参数设置（如Patch Size、Epochs、Class Weight等）；③通过模型调优与结果反馈提升分类精度，实现高效自动化信息提取。; 阅读建议：建议结合实际遥感项目边学边练，重点关注标签数据制作、模型参数配置与结果后处理环节，充分利用ENVI Modeler进行自动化建模与参数优化，同时注意软硬件环境（特别是NVIDIA GPU）的配置要求以保障训练效率。

QPdfiumDemo

12-19

QPdfiumDemo

【网络安全竞赛】基于DVWA的代码级攻防技术：SQL注入至RCE利用链的实战设计与自动化防御方案研究