墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
3.8k累计阅读
3.8k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
自监督学习任务中，将预训练模型转移到下游任务时，通常需要进行fine-tuning。
常见的方法有两种：
full fine-tuning（更新所有模型参数），具体来说，冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层，因为这些层保留了大量底层信息）甚至不冻结任何网络层，训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层
linear probing （只更新最后一个linear layer参数），具体来说，训练后，要评价模型的好坏，通过将最后的一层替换成线性层。 预训练模型的表征层的特征固定，参数固化后未发生改变，只通过监督数据去训练分类器（通常是Softmax分类器或者SVM分类器等等）。只训练这个线性层就是linear probe。
Deep Learning
从MAE到CAE：自监督视觉预训练如何从‘重建像素’进化到‘学习表征’？
本文探讨了自监督视觉预训练从MAE到CAE的技术演进，重点分析了MAE的像素重建能力及其局限性，以及CAE如何通过功能解耦和表征对齐机制提升视觉表征学习效果。CAE在ADE20K语义分割任务中超越监督预训练，展示了自监督学习的巨大潜力，特别适合医疗影像分析等需要全局上下文理解的场景。
【Linear Probing | 线性探测】深度学习 线性层
深度学习linear probing
视觉特征-自监督-掩码特征预测【2023-01】：I-JEPA【单上下文块编码器取可见特征；窄预测器接特征和多个目标块位置标记在特征空间算L2损失；目标编码器由上下文权重指数移动平均更新】
Abstract摘要本文展示了一种无需依赖手工设计的数据增强即可学习高度语义化图像表示的方法。我们提出了基于图像的联合 Embedding 预测架构(Imagebased Joint-Embedding Predictive Architecture，I-JEPA)，这是一种用于从图像进行自监督学习的非生成式方法。I-JEPA背后的理念很简单：从单个上下文块中，预测同一图像中多个目标块的表示。引导I-JEPA生成语义表示的核心设计选择是掩码策略；
深度学习笔记：finetune和linear probing的区别
finetune和linear probing一般和预训练搭配出现，是预训练模型适配下游任务时可选的训练方式
视觉特征-自监督-掩码像素预测【2022-03】：VideoMAE【90%~95%管状掩码】
通常需要在超大规模数据集上对视频Transformer 进行预训练，才能在相对较小的数据集上取得卓越性能。本文表明，视频掩码自编码器（VideoMAE)是适用于自监督视频预训练(SSVP)的数据高效学习器。受近期Image-MAE[31]的启发，我们提出了具有极高掩码比例的定制化视频管状掩码。这一简单设计使视频重建成为一项更具挑战性和意义的自监督任务，从而促进在预训练过程中提取更有效的视频表示。
视觉特征-自监督-掩码特征预测【2024-04】：V-JEPA【潜空间】【≈90%多块时空掩码】【上下文目标块预测】【特征空间预测≠像素重建】【EMA目标编码器+停梯度】
Adrien Bardes 1,2,3, Quentin Garrido 1,4, Jean Ponce 3,5,6, Xinlei Chen 1, Michael Rabbat 1, Yann LeCun 1,5,6, Mahmoud Assran 1,†, Nicolas Ballas 1,† 1 FAIR at Meta, 2 Inria, 3 École normale supérieure, CNRS, PSL Research University, 4 Univ. Gustave Eiffel
“不可能学不会的”--视觉大模型的迁移方法（Linear Probing、Finetune、Adapter、Prompt）
当需要快速评估预训练模型表征能力时，可以选择Linear probing；当目标任务与预训练任务相似且数据集较大时，可以选择Finetune；当需要参数高效且任务独立的迁移学习方法时，可以选择Adapter；而当希望避免微调模型参数且任务灵活性要求较高时，可以选择Prompt。
Sparsh：用于基于视觉的触觉感知的自监督触觉表征【传感器：带标记点的 GelSight 2017、无标记点的 DIGIT】
t⊕It−5→x∈Rh×w×6tt−2t−4t−6∈R4×h×w×3t∈Rh×w×3t∈SE3). Tttt−1≜ΔxΔy˙Δθ∈SE2ˉ2∘0.5∘1.0∘to1.0∘2.0∘zt−1ztqt−1qt≜ΔqtΔqt1...;Δq∈R7。
别再只盯着ViT了！用MAE在ImageNet上自监督预训练，效果比肩JFT-300M有监督
本文探讨了Masked Autoencoder（MAE）在计算机视觉领域的突破性应用，展示了其通过自监督学习在ImageNet-1K上实现与JFT-300M有监督预训练相媲美的性能。MAE通过高比例随机掩码和非对称编解码架构，显著提升了数据效率和模型泛化能力，为资源有限的研究团队提供了新的解决方案。
视觉特征-自监督-掩码特征预测【2024-10】：D-JEPA【生成模型：下一Token组自回归预测（组内并行去噪），自回归合成图像】【JEPA、Diffusion损失均针对Mask处Token计算】
Dengsheng Chen1 Jie Hu2 Xiaoming Wei1 Enhua Wu2∗1Meituan 2Key Laboratory of System Software (Chinese Academy of Sciences) and State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences {chendengsheng, weixiaoming}@meituan.
LLM-微调-全参数微调：Full-Param Fine-tuning（100% parameters）
而从generative pre-training（生成式预训练）到discriminative fine-tuning（判别微调）的过程是一个对泛化特征进行面向任务的特化的过程。对于初始化过程，我们可以称自己的网络为目标网络，训练好的模型对应网络为源网络，要求目标网络待初始化的层要与源网络的层相同（层的名字、类型以及层的设置参数等等均相同）。往往可以得到比直接用自己数据训练更好的效果，这是因为在imagenet上预训练的模型参数从微调一开始就处于一个较好的位置，这样微调能够。（从已训练好的模型中获得）
边缘侧轻量级视觉自监督学习：edgemae实战部署与优化指南
视觉自监督学习是一种让模型从无标签数据中自动学习视觉表征的技术，其核心原理是通过设计预测任务（如图像补全、对比学习）让模型理解图像的内在结构。这项技术的价值在于大幅降低对昂贵标注数据的依赖，提升模型在新场景下的泛化能力。在边缘计算场景中，轻量级视觉模型需要部署在资源受限的设备上执行实时推理。edgemae作为专为边缘设备优化的掩码自编码器框架，通过结合高掩码率、非对称编解码器和硬件协同优化等策略，实现了在树莓派等设备上的高效自监督预训练。这使得边缘设备能够利用现场无标签数据自主学习，只需少量标注即可快速适配
UART全功能测试指南：环路/DMA/RS485/硬件流控实战
UART（通用异步收发器）是嵌入式系统中最基础的串行通信接口，其核心原理基于起始位、数据位、校验位与停止位的异步帧结构，依赖精确的波特率时钟同步与采样重建机制。在工业与物联网场景中，UART不仅需保障基本通信可靠性，更需支持DMA卸载、RS485半双工自动方向控制、RTS/CTS硬件流控等进阶能力，以提升实时性、抗干扰性与系统资源效率。典型应用涵盖调试日志输出、传感器数据采集、Modbus RTU总线通信及固件空中升级。本指南聚焦UART外设测试实践，覆盖环路自检、DMA吞吐验证、RS485时序对齐、硬件流
BEIT：图像 Transformer 的 BERT 预训练
Hangbo Bao , Li Dong , Songhao Piao , Furu Wei † Harbin Institute of Technology ‡ Microsoft Research https://aka.ms/beitHangbo Bao ，Li Dong ，Songhao Piao ，Furu Wei † 哈尔滨工业大学‡ MicrosoftResearchhttps://aka.ms/beitWe introduce a self-supervised vision represe
国产麒麟系统下用Rider开发C#桌面应用：从环境配置到Avalonia UI实战
本文详细介绍了在国产麒麟系统上使用JetBrains Rider开发C#桌面应用的完整流程，重点讲解了Avalonia UI框架的实战应用。从环境配置、Rider安装到Avalonia项目创建和UI开发技巧，全面覆盖了在非Windows环境下进行C#开发的关键步骤和优化建议，助力开发者高效构建跨平台桌面应用。
Rapid SCADA MQTT
一、配置RapidSCADA 1、准备KpMqtt.dll、Jint.dll库文件，从网盘下载。 2、将以上两个文件拷贝到SCADA安装目录的Comm/KP目录下，如下： C:\SCADA\ScadaComm\KP 3、新建SCADA项目 4、新建Line 5、新建Device 6、拷贝Config目录下的KpMqtt_001.xml文件、KpMqtt_Job.js文件到项目Comm\Config下，如下示例链接 C:\SCADA\Projects\MQTTProject\Instances\Defau
BEiT: BERT Pre-Training of Image Transformers图像 Transformer 的 BERT 预训练
我们提出了一种自监督视觉表征模型 BEIT，其名称代表来自图像 Transformer 的双向编码器表征。遵循自然语言处理领域开发的 BERT [DCLT19]，我们提出了一项掩码图像建模任务来预训练视觉Transformer。具体而言，在我们的预训练中，每张图像具有两种视图，即图像块（例如 16 × 16 像素）和视觉 Tokens（即离散 Tokens）。我们首先将原始图像“Token 化”为视觉 Tokens。然后，我们随机掩盖一些图像块，并将其输入主干 Transformer。
57. SAP UI5 应用基于 OData 注解的 Smart Field 使用方法学习
所谓 SAP UI5 Smart Field，顾名思义，是一类比较`智能`的控件，这类控件同 SAP UI5 传统的控件不同，会根据 SAP UI5 应用程序连接的 OData 服务中元数据里提供的注解(`annotations`)，在运行时动态生成底层的 SAP UI5 控件。...
图像领域的预训练
图像预训练经历了“监督学习（ImageNet 时代）→ 自监督学习（对比学习与掩码建模时代）→ 多模态统一（CLIP 与大模型时代）”用更少标注、更低成本，获得更强的视觉理解、泛化与生成能力。未来，视觉预训练将与语言、音频、动作等多模态深度融合，迈向真正的通用人工智能。
FM20S用户手册--Linux系统启动卡制作及系统固化
评估板出厂时，默认提供一张配套的Micro SD卡，此卡为可正常使用的Linux系统 启动卡。评估板断电，将Linux系统启动卡插入评估板Micro SD卡槽，根据评估底板丝印将 启动方式选择拨码开关拨为1010(1-4).此档位为Micro SD启动模式。使用Linux 系统启动卡启动系统时，将使用此目录的BOOTbn文件启动FSBL和U-Boot。Linux系统启动卡制作时，已将固化系统的脚本文件mkemmcboot.sh拷贝至Linux系 统启动卡文件系统的"/opt/tools/"目录下。
网络管理与维护综合实训2：基于AD证书服务构建企业内部HTTPS安全访问体系
本实训项目通过在Windows Server 2022环境下搭建AD域、DNS服务和Web服务器，实现安全的企业网站访问。主要内容包括：在两台服务器上安装操作系统并配置网络；在S1服务器上部署活动目录域、证书服务和Web服务；创建两个网站（HTTP和HTTPS）；配置DNS记录和SSL证书；设置防火墙规则限制HTTP访问而允许HTTPS访问。通过实践掌握了AD证书管理、DNS配置、Web服务器设置及防火墙规则配置等关键技能，为网站管理工作奠定了基础，同时认识到证书管理在Web安全中的重要性。
Linear probing accuracy（线性探测精度）是什么？评价表征学习的质量的方式
Linear probing accuracy 的关键在于它提供了一个简单而直接的方式来评估模型学习到的特征的质量。如果一个自监督学习模型能够学习到有用的、丰富的特征表示，那么即使是一个简单的线性分类器也能在这些特征上取得良好的分类性能。在这种方法中，使用一个简单的线性分类器（通常是一个线性层或者一个全连接层）来测试模型学习到的特征的质量。：然后，在提取的特征上训练一个简单的线性分类器。：最后，评估这个线性分类器在一个标记的测试集上的性能，通常是准确率（accuracy）。
【WRF-Chem 工具】CAMStoWRF详解：CAMS数据下载及处理
【WRF-Chem 工具】CAMStoWRF详解：CAMS数据下载及处理
CVPR 2023 | iTPNs: 谁说 Linear probing 不适用 MIM 任务？
掩码图像重建是一种利用图像掩码去执行计算机视觉任务的技术。相比于基于对比学习等方法，基于 MIM 的方法能提供更有竞争力的结果。说到这，那就让我们先简单回顾下对比学习的知识吧。本文提出了一个用于预训练 HiViT 的完整框架，其核心贡献在于利用特征金字塔统一重建和识别任务，从而最大限度地减少预训练和微调任务之间的迁移差距。此外，为了更好的优化特征金字塔，本文提出了一种掩码特征建模任务，旨在补充掩码图像建模能力。最后，预训练的 iTPN 在一些主流的视觉识别任务中报告了卓越的识别能力。
PyQt5简介和安装
在initUI方法中，设置了窗口的标题和大小，并创建了一个按钮。PyQt5是一个功能强大的Python界面开发框架，可以轻松创建跨平台的图形用户界面应用程序。本文介绍了PyQt5的简介和安装方法，并提供了一个简单的示例应用程序来演示PyQt5的基本用法。PyQt5是一个功能强大的Python界面开发框架，它提供了丰富的工具和组件，用于创建跨平台的图形用户界面（GUI）应用程序。信号是控件发出的事件，槽是与之关联的处理函数。接下来，我们将编写一个简单的PyQt5应用程序，以演示PyQt5的基本用法。
win10 跳过U8环境检测的IE WebControls.rar
win10 安装u8的时候 提示IE WebControls 不通过，这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后，重新检测通过。
大模型开发 - 一文搞懂Fine-tuning（大模型微调）零基础入门到精通，收藏这一篇就够了
_************************************************__的本质**Fine-tuning（微调）：**一、微调的定义大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。二、微调的核心原因定制化功能：微调的核心原因是赋予大模型更加定制化的功能。通用大模型虽然强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。
复分析 阿尔福斯(Ahlfors) 第三版答案 英文
答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
326
扫一扫
