读论文:Understanding Generalization Through Visualiations

原创 已于 2022-03-06 09:59:30 修改 · 598 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

于 2022-03-05 23:54:06 首次发布
本文探讨了过参数化模型中的泛化难题，通过实验揭示了flatness与泛化的关系，并指出高维优化中的偏好。文章还提出神经网络中存在badminima且优化器倾向于goodminima的现象，以及flatminima对泛化的重要性。

文章架构

1.从一些实验出发说明为什么generalization是令人困惑的以及过参数化是如何影响模型行为。

2.探讨最小值的flatness是如何与generalization相关并建立直觉来理解为什么存在这种相关性。

3.探讨参数空间的高维如何使优化器偏向于泛化好的flat minima.

4.提出反事实的实验验证直觉。

一.背景

1.standard classification loss

L(\theta )=\frac{1}{\left | D_{t} \right |}\sum_{(x,y)\in D_{t} }-log p_{\theta}(x,y)

已知：过度参数化会导致泛化差。

实验：通过一个实验来说明模型拟合和泛化之间的区别，过度参数化的线性模型不能泛化，但过度参数化的神经网络泛化效果好。

提出猜想：

①NN中存在bad minima吗？

②bad minima远离初始化发生的参数空间？

③如果bad minima普遍存在，什么阻止了优化器发现这些bad minima？

最低0.47元/天 解锁文章
爱吃橘子-
关注
学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能
叶庭云 成为自己的光
12-13 1343
学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能
DGMamba: Domain Generalization via Generalized State Space Model论文笔记
c2861024198的博客
07-02 1054
DGMamba论文笔记。基于Mamba在领域泛化上的应用
图像分类经典卷积神经网络—ZFNet论文翻译（中英文对照版）—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)
bigcindy的博客
08-06 3006
图像分类经典论文翻译汇总：[翻译汇总] 翻译pdf文件下载：[下载地址] 此版为中英文对照版，纯中文版请稳步：[ZFNet纯中文版] Visualizing and Understanding Convolutional Networks 可视化和理解卷积网络 Matthew D. Zeiler Rob Fergus Dept. of Computer Science, New York University, USA（美国
SL解读
周先森爱吃素的博客
05-06 1963
本文主要解读Symmetric Cross Entropy for Robust Learning with Noisy Labels这篇针对标签噪声下分类任务的工作，在交叉熵的基础上提出了对称交叉熵。
交叉熵损失(Cross-entropy)和平方损失(MSE)究竟有何区别？
AI蜗牛车
10-08 4407
一、概念区别1. 均方差损失函数（MSE）简单来说，均方误差（MSE）的含义是求一个batch中n个样本的n个输出与期望输出的差的平方的平均值2. Cross-entropy（交叉熵损失函...
Classification loss
qq_30776035的博客
03-10 1885
为何在识别领域表现不好？ 其原因在于Softmax本身的定义，它正式是softmax函数加上交叉熵损失。其目的是使所有类在概率空间中具有最大的对数似然性，即确保所有类别都被正确分类，以及撤销和验证任务需要的是具有更好泛化性能的度量空间。一个度量空间，保证正确的分类并保证良好的泛化。虽然相关性很强，但并不直接相同。 Softmax能够放大微小类别之间的logit差异 Focal loss motiv...
论文阅读：A Generalization of Transformer Networks to Graphs
m0_56878426的博客
09-22 1864
作者提出了一种适用于任何图的GraphTransformer。这种结构不能很好利用图的连通归纳偏置（graph connectivity inductive bias）当图的拓扑结构很重要且尚未编码到节点特征时，表现很差注意力机制是图中每个节点的邻域连通性的函数positional encoding用拉普拉斯特征向量表示Batch Normalization代替Layer Normalization，优点：训练更快，泛化性能更好。
Re48：读论文 kNN-LMs Generalization through Memorization: Nearest Neighbor Language Models
诸神缄默不语的博客
09-20 1327
《Generalization through Memorization: Nearest Neighbor Language Models》的论文阅读笔记
GENERALIZATION THROUGH MEMORIZATION: NEAREST NEIGHBOR LANGUAGE MODELS
weixin_44206053的博客
11-15 945
我们引入了kNN-LMs，它扩展了一个预先训练的神经语言模型（LM），通过与k个最近邻（kNN）模型线性插值。最近邻是根据预先训练好的LM嵌入空间中的距离进行计算的，并可以从任何文本集合中提取，包括原始的LM训练数据。定性地说，该模型在预测罕见的模式方面特别有用，如事实知识。总之，这些结果强烈地表明，学习文本序列之间的相似性比预测下一个单词更容易，而最近邻搜索是一种在长尾进行语言建模的有效方法。
【论文阅读】RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and
qq_33673253的博客
07-14 1375
随着机器人数据集规模的增长，机器人学习通常会受益，我们的工作重点是研究在给定数据预算下开发有能力的代理的泛化。我们将自己限制在一个包含7500个机器人操纵轨迹的数据集（比相关作品[5]少一个数量级），其中包含不同任务中的各种操纵技能。由于在家庭、医院等真实环境中部署的机器人总是会发现自己处于看不见的场景中，我们着手开发功能最强大的agent，乍一看，用数据预算进行广泛的泛化似乎是一厢情愿的想法——虽然可以为agent的策略提供强大的表示能力，但没有数据多样性的扩展可能会导致过拟合和泛化。
增量学习-03-Riemannian Walk for Incremental Learning:Understanding Forgetting and Intransigence
qq_40600539的博客
10-10 1042
也许阅读这篇文章需要先阅读EWC 和PI 两篇文献。 We present RWalk, a generalization of EWC++ (our efficient version ofEWC[7]) and Path Integral [26] with a theoretically grounded KL-divergence based perspective. 一些概念： EWC: regularized by a second-order approximation of the K
#今日论文推荐# CVPR 2022 | 如何从带有噪声标签的数据集中学到可靠模型？
w1hsxn的博客
06-14 674
本文从一种新的角度出发，提出了一种简单有效的方法解决模型过拟合噪声的问题。
简单谈谈Cross Entropy Loss
热门推荐
时光杂货店
06-23 18万+
写在前面 分类问题和回归问题是监督学习的两大种类。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，常用的损失函数是均方误差( MSE，mean squared ...
0011机器学习特征工程
老欧学视觉的博客
12-03 744
本文系统介绍了机器学习特征工程的关键内容，包括特征工程在机器学习流程中的重要性、数据处理方法和降维技术。主要内容涵盖：1）特征工程的核心作用是通过数据预处理提升模型效果，包括异常值处理、数据平衡、文本向量化等；2）详细讲解了数据清洗、缺失值填充、标准化/归一化、One-Hot编码等基础处理方法；3）重点阐述了文本特征提取技术（词袋法、TF-IDF）和降维方法（特征选择、PCA、LDA）。文章强调特征工程需结合业务场景进行特征衍生和优化，占整个开发流程30%-50%的工作量，是机器学习项目成功的关键环节。
当AI遇见MEMS：机器学习如何优化微振镜的控制与可靠性预测
m0_57847742的博客
12-04 1115
您认为在控制优化与可靠性预测这两个方向中，哪一项的产业化落地会更快，面临的障碍更小？
机器学习--损失函数
weixin_57225400的博客
12-04 390
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
【机器学习三大范式对比总结】
严文文 Chris
12-04 284
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
第二届机器学习、计算智能与模式识别国际学术会议（MLCIPR 2025）
最新发布
2503_93659005的博客
12-08 649
摘要： 2025年12月19-21日，MLCIPR2025国际会议将在南京举办，聚焦机器学习（ML）、计算智能（CI）与模式识别（PR）的融合与创新。会议涵盖技术架构解析（如监督学习、进化算法）、工程实践（基于CNN的工业缺陷检测、遗传算法优化XGBoost）及前沿趋势（小样本学习、多模态识别）。核心议题包括算法轻量化、可解释性提升及云边协同部署，旨在推动人工智能从理论到应用的转化。官网：https://ais.cn/u/IRfYJf。欢迎投稿与交流，共促技术发展与国际合作。
【机器学习】27 异常检测（密度估计）
weixin_54010404的博客
12-03 822
本文介绍了异常检测的基本概念和方法。主要内容包括：1) 异常检测基于密度估计，通过构建概率模型识别异常值；2) 使用高斯分布建模特征概率，介绍最大似然估计方法计算参数；3) 多特征异常检测算法及其实现流程；4) 评估方法，建议划分训练集、验证集和测试集；5) 比较异常检测与监督学习的适用场景；6) 特征选择策略，强调特征分布分析和错误分析的重要性。文章指出异常检测适用于异常类型未知或样本稀少的情况，而监督学习更适合已知异常类型且有充足标注数据的场景。
机器学习基石：Generalization理论探索
"林轩田《机器学习基石》课程笔记6深入探讨了机器学习的泛化能力和成长函数，特别是关于2D perceptrons的成长函数的多项式级别猜想。笔记介绍了成长函数与breakpoint的关系，并引入bounding function来简化问题，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值