MAE的作用

最新推荐文章于 2025-12-01 19:45:15 发布
原创 最新推荐文章于 2025-12-01 19:45:15 发布 · 292 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #计算机视觉

自监督学习通过随机mask图像patch，使用未mask部分进行预训练，encoder处理后由decoder重建被mask的区域，MSEloss专注于评估mask部分的重建质量。重点在于encoder的学习特征，而非decoder的重建能力。

自监督学习，相当于高效的预训练encoder。

做法：随机mask一定百分比的patch，将未mask的patch作为输入，经过encoder-decoder，在decoder时重建输出重建图片，MSE loss只计算mask部分的patch。decoeder不重要，我们需要的是已经自学习特征的encoder

AIlearning2
关注
深度学习：MAE 和 RMSE 详解
南淮北安的博客
10-25 11万+
平均绝对误差MAE（mean absolute error） 和均方根误差 RMSE（root mean squared error)是衡量变量精度的两个最常用的指标，同时也是机器学习中评价模型的两把重要标尺。 那两者之间的差异在哪里？它对我们的生活有什么启示？ 文章目录一、定义二、比较三、应用 一、定义 平均绝对误差MAE（mean absolute error）是绝对误差的平均值，它其实是更一...
MAE原理与代码实例讲解
AI天才研究院
07-22 1070
MAE原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：MAE, Mean Absolute Error, 绝对误差平均，回归分析，机器学习 1. 背景介绍
一文搞懂MAE(掩码自编码器)
qq_68616968的博客
07-21 1377
摘要：MAE（掩码自编码器）是一种自监督学习方法，通过掩码和重建图像块来学习有效特征。其核心流程包括随机掩码75%图像块、编码器处理可见块、解码器重建图像，并优化重建损失。模型采用非对称架构，编码器提取语义特征，解码器负责像素重建。关键设计包括高掩码比例、位置编码等。MAE在预训练后可通过微调应用于图像分类、检测等任务，在ImageNet上达到87.8%的Top-1精度，优于有监督方法。该模型在图像重建和迁移学习方面具有优势。
【预测模型--常用度量指标】
在热爱技术的路上一直前行。
05-02 1万+
一、MAE（Mean Absolute Error） 平均绝对误差MAE（MeanAbsolute Error），即误差绝对值的平均值，可以准确反映实际预测误差的大小。 MAE评估的是真实值和预测值的偏离程度，即预测误差的实际大小。 MAE值越小，说明模型质量越好，预测越准确。 二、MSE（Mean Squared Error） 一般情况下，MSE比较少单独使用，因为不好理解，多数用在方差分析和参数估计等中。 显然，M...
【深度学习】详解 MAE
闻韶
12-01 2万+
【深度学习】详解 MAE - Masked Autoencoders Are Scalable Vision Learners
大火的何恺明：MAE——用于计算机视觉的可扩展自监督学习神器
limingmin2020的博客
03-18 8070
作者：王浩 毕业于北京航空航天大学，人工智能领域优质创作者，优快云博客认证专家 首发：公众号【3D视觉开发者社区】 导语： 近期，何铠明的新作可谓是火出了圈，毕竟何佬出品必是精品，由何佬提出的的ResNet、Faster RCNN等模型一直被大家学习和研究。如今，何铠明又带来一种用于计算机视觉的可扩展自监督学习器, 称之为”掩码自编码器 (MAE) “，本文将对该视觉学习器原理及实现方法进行解读。 Masked Autoencoders Are Scalable Vision Learners 论文.
MAE
GY-赵的博客
07-01 1436
作者开门见山说明了深度学习结构拥有越来越大的学习容量和性能的发展趋势，在一百万的图像数据上都很容易过拟合，所以常常需要获取几百万的标签数据用于训练，而这些数据公众通常是难以获取的。MAE的灵感来源是DAE(denosing autoencoder)，去噪自编码器就是encoder的输入部分加上噪声作为输入，decoder还原真实的输入，其损失函数为decoder的输出与真实输入之间的均方误差，相比与原来的autoencoder，DAE必须去除噪声，学习到输入数据的重要特征。在NLP领域中self-super
MSE与MAE对机器学习性能优化的作用比较.pdf
09-24
MSE与MAE对机器学习性能优化的作用比较 机器学习是人工智能的核心，是目前使计算机具有人工智能的根本途径。损失函数是机器学习优化的重要组成部分，常见的损失函数有均方误差（MSE）和平均绝对值误差（MAE）。本文...
【图像重建指标 Metrics】均方误差RMSE及平均绝对误差MAE的定义和区别
TomRen
09-18 1万+
RMSE和MAE能很好的反应图像的重建结果与真实结果间的差异。
MAE特征与注意力机制的时空融合
AI天才研究院
06-06 1036
MAE作为一种新兴的自监督学习方法,在计算机视觉领域展现出了巨大的潜力。高效的预训练策略:MAE的预训练过程通常需要大量的计算资源和时间。探索更高效的预训练策略,以缩短训练时间和降低计算开销,是未来的一个重要方向。多模态融合:MAE目前主要关注视觉数据,将其与其他模态(如文本、语音等)进行融合,可以进一步提高模型的理解能力。注意力机制的改进:尽管注意力机制在MAE中发挥了关键作用,但它也存在一些局限性,如注意力漂移和计算复杂度高等问题。探索新型的注意力机制或替代方案,可能会进一步提升MAE的性能。
MSE 和 MAE
weixin_50267049的博客
11-23 4520
两种损失函数的性质 异常值 MSE对异常值敏感，因为它的惩罚是平方的，所以异常值的loss会非常大。 MAE对异常之不敏感， 不妨设拟合函数为常数，那么MSE就相当于所有数据的均值（列出loss对c求导即可），而MAE相当于所有数据的中位数，所以会对异常值不敏感。 优化效率 MAE不可导而且所有的导数的绝对值都相同，优化时无法确定更新速度， MSE可导，有closed-form解，只需要令偏导数为0即可。 如何选择 如果想要检测异常值则使用MSE，如果想学习一个预测模型则建议使用MAE，或者先进行异常值
MSE与MAE的区别与如何选择
ningyanggege的博客
12-24 3万+
mark下，讲得非常好       http://rishy.github.io/ml/2015/07/28/l1-vs-l2-loss/        参考：https://baijiahao.baidu.com/s?id=1603857666277651546&wfr=spider&for=pc 
【损失函数】MSE, MAE, Huber loss详解
热门推荐
菜鸟起飞
12-15 5万+
转载：https://mp.weixin.qq.com/s/Xbi5iOh3xoBIK5kVmqbKYA https://baijiahao.baidu.com/s?id=1611951775526158371&wfr=spider&for=pc 无论在机器学习还是深度领域中,损失函数都是一个非常重要的知识点。损失函数（Loss Function）是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。我们的目标就是最小化损失函数，让 f(x) 与 y 尽量接...
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1302
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1843
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1256
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1549
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 898
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
最新发布
二哈喇子！
12-01 5733
昇腾平台vLLM部署与性能优化实战摘要
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值