AUGMAE阅读

最新推荐文章于 2025-05-09 23:25:40 发布
最新推荐文章于 2025-05-09 23:25:40 发布
阅读量148 收藏 3
点赞数 4
分类专栏： 论文 文章标签： 论文阅读 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiang_wan_/article/details/145799890
版权

又是看了好几天，别拖延了！！
个人感觉这篇论文的模型性能提升不是很高，而且作为baseline的模型也没有其他论文里多，实验过程直接说按照GraphMAE的方法，而且也没有做链接预测任务，但新增了图分类任务

不足和创新点

  • 把对比学习的对齐正样本与生成式学习的节点级别的重建统一了 起来，从理论上建立了对比学习和生成式学习的联系
  • 在上一条的基础上，从对比学习角度的对齐性和均匀性(又叫统一性)角度分析了现有GraphMAE的不好
    • 对齐性：说GraphMAE的对齐性不好(因为理论证明了对比学习的对齐正样本就是节点级重建)，不仅取决于模型本身能力，还取决于掩码策略-> 即随机掩码不好
    • 均匀性：仍会出现部分维度坍塌(即在嵌入空间中好几个节点的嵌入缩成一个值了)

创新点：

  • 针对上述问题：提出了对抗掩码(用来生成难样本)和由易到难得训练策略(用来控制随机掩码和对抗掩码的比重)以及显示均匀正则化器
    在这里插入图片描述

问题和细节

  • 为什么他论文中的MaskGAE的准确度和MaskGAE论文中的准确度不一样？
  • 文中提到“. We speculate that the reason may be that generative methods focus more on context-level information, while node-level and graph-level information are also important on these datasets.“没有看懂，上文刚刚说节点级和上下文有联系，又说节点级和图级也很重要
  • 细节：均匀正则化损失是在随机掩码上计算的，因为其目的是让所有的样本都减少维度塌陷的影响
  • 实验过程中也是以提问的形式展开，而且介绍的很简略
【论文阅读】HunyuanVideo: A Systematic Framework For Large Video Generative Models
xianshuiyihui的博客
05-07 800
Hunyuan Video论文详解
【论文阅读】基于客户端数据子空间主角度的聚类联邦学习分布相似性高效识别
wzx_442011334的博客
05-09 332
PACFL的一个理想特性是它能够处理客户的部分参与。PACFL并不要求事先知道某些客户是否可以参与该联邦，客户端可以突然加入或离开网络。如果没有指定固定的聚类数，PACFL可以形成拟合的聚数。然而，在IFCA（Ghosh等人，2020）中，聚类数必须事先确定。PACFL可以在联邦之前为用客户端进行一次性客户端聚类，而不需要关于某些客户端的可用性和数量的先前信息。相反，IFCA通过在聚类识别估计和损失函数最小化之间替进行迭代构建聚类，这在通信上成本较高。
[论文笔记] 超详细解读DeepSeek v3全论文技术报告
心宝的博客
05-08 158
（可以理解为有多个专家，但每个token只会选择一部分专家进行推理，所以一个token的预测，只会用到37B参数），DeepSeek-V3 使用了。来实现高效的流水线并行（减少空泡情况，计算和通信同时进行，提升每张显卡的利用率）。对DeepSeek-V3进行了两阶段的上下文长度扩展。，在不使用采样loss帮助下，让每个专家访问次数接近）的。2、在第二阶段，进一步扩展到128K。阶段，以使其与人类偏好保持一致，并进一步释放其潜力。个不同的高质量token训练，然后进行监督微调和。，MoE）语言模型，总共。
[论文阅读]MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System
m0_52911108的博客
05-06 983
MCP Guardian 不要求开发人员直接在每个工具服务器中嵌入安全检查，而是通过覆盖 MCP 中的 invoke_tool 方法拦截所有调用。这种设计选择可确保对现有 5 个代码库的干扰降到最低，同时为身份验证、授权、速率限制、请求监控和 Web 应用程序防火墙 (WAF) 扫描提供一个中央控制点。安全性：MCP Guardian 有效阻止了未经授权的令牌、恶意命令（如 drop table、rm -rf /）和过高的请求率，展示了其在处理常见攻击模式和资源滥用方面的稳健性。
【论文笔记】SOTR: Segmenting Objects with Transformers
Word_And_Me_的博客
05-05 1149
【题目】：SOTR: Segmenting Objects with Transformers【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166.【网址】：https://openaccess.thecvf.com/cont
【论文阅读】Harnessing the Power of LLM to Support Binary Taint Analysis
网络空间安全|人工智能|计算机科学
05-07 1133
研究背景软件测试与漏洞检测现状：软件测试是保证软件质量的主要方法，但无法确保无漏洞。二进制漏洞可能被利用，引发网络攻击，第三方安全审计及静态二进制污点分析成为保障软件安全的重要手段。静态二进制污点分析概述：该分析通过识别污点源、传播污点标签、检查漏洞点来检测漏洞，然而其部分流程依赖人工，规则设计复杂且易出错。LLMs的应用潜力：LLMs在代码理解方面有优势，如代码生成和总结，但应用于二进制漏洞检测存在提示工程和代码上下文编码等挑战。LATTE设计整体思路。
论文阅读笔记——ROBOGROUND: Robotic Manipulation with Grounded Vision-Language Priors
Multiple_x的博客
05-06 1182
ROBOGROUND: Robotic Manipulation with Grounded Vision-Language Priors 论文阅读笔记
《Overlapping Experiment Infrastructure: More, Better, Faster》论文阅读笔记
pursuit的博客
05-07 1262
这样确保了测试的一致性（同一用户/Cookie 会持续进入同一类型实验），但也会导致例如 1% 的随机流量实验实际上接收的请求远少于 1% 的 Cookie 实验。每层都有自己的实验组和控制组，且流量分配各不相同：UI层的实验A占25%，算法层的实验B占30%，特性层的实验C占20%。与传统的单实验（每请求仅一个实验）不同，每个请求可同时参加多个实验，但每个实验只能修改其对应层的参数。在 Launch 层中，实验指定的是参数的新默认值：如果在其他层没有覆盖这些参数，实验中的默认值生效；
vison transformer vit 论文阅读
最新发布
njsgcs的博客
05-09 267
20年的论文看成10年的哈斯我了[2010.11929] 一张图像胜过 16x16 个单词：用于大规模图像识别的转换器 --- [2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
[论文阅读]Deeply-Supervised Nets
qq_41776136的博客
05-09 518
深度监督网络（DSN）通过为每个隐藏层引入“伴随目标”，在最小化分类误差的同时，增强了隐藏层学习过程的透明性和直接性。该方法在卷积神经网络（CNN）中关注中间层的透明性、早期层特征的区分性和鲁棒性，以及梯度爆炸和梯度消失问题。DSN通过为每个隐藏层引入独立目标，显著提升了分类性能，实验结果表明在MNIST、CIFAR-10、CIFAR-100和SVHN等基准数据集上优于现有方法。DSN不仅提高了训练效率，还增强了模型的泛化能力，展示了在深度学习中的潜力。
【论文阅读】DETR+Deformable DETR
博客标题不能为空我也没办法
05-05 568
可变形注意力相关的两篇论文：DETR和Deformable DETR
【论文阅读】FreePCA
xianshuiyihui的博客
05-09 828
中科大最新training-free视频生成模型FreePCA论文阅读
【论文阅读27】-TCN–BiLSTM -滑坡预测
wangshangshang09的博客
05-09 602
这篇论文提出了一种基于 ICEEMDAN 方法和 TCN–BiLSTM 组合神经网络的滑坡位移预测模型，先用 ICEEMDAN 将滑坡位移数据分解为趋势项和波动项，分别建模预测，趋势项采用三次多项式拟合，波动项通过 TCN 提取特征并输入 BiLSTM 进行预测，最终叠加得到总位移预测值。应用于四川万家湾滑坡实测数据，结果表明该方法较传统单模型具有更高的预测精度和工程应用价值，尤其适用于降雨型滑坡的高精度预警。
【论文阅读】Attentive Collaborative Filtering:
hongjianMa的博客
05-07 852
多媒体内容正主导着当今网络信息。然而，大多数现有的协同过滤（CF）系统在多媒体推荐场景中并不理想，因为它们忽略了用户与多媒体内容互动中的“隐式性”。我们认为，在多媒体推荐中，存在两层“隐式”——项目层面（item-level）和组件层面（component-level），它们模糊了用户真实的偏好。项目层面隐式性指用户对整个项目（照片、视频、歌曲等）的偏好强度未知；组件层面隐式性指用户对项目内部不同组成部分（例如图像的不同区域、视频的不同帧）的偏好也未知。比如一次“观看”
【LDM】视觉自回归建模：通过Next-Scale预测生成可扩展图像（NeurIPS2024最佳论文阅读笔记与吃瓜）
小哈里的博客
05-06 1074
【LDM】视觉自回归建模：通过Next-Scale预测生成可扩展图像（NeurIPS2024最佳论文阅读笔记与吃瓜） 《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》 视觉自回归建模：通过Next-Scale预测生成可扩展图像 文章目录 1、吃瓜：tky事件，NeurIPS与最佳论文 2、论文：摘要，正文，结论 3、导读：文章核心内容总结
【论文阅读】Towards Stable Backdoor Purification through Feature Shift Tuning
开心星人的博客
05-07 768
普通的微调方法在低投毒率场景下完全失效。我们的分析表明，低投毒率下，后门特征与干净特征之间的纠缠削弱了基于微调的防御效果。因此，为了提高后门净化效果，有必要将后门特征与干净特征解耦。为了解决这一问题，我们引入了一种基于微调的后门净化方法——特征偏移微调（Feature Shift Tuning，FST）。具体而言，FST通过主动使分类器权重偏离最初被篡改的权重，来鼓励特征偏移。广泛的实验表明，我们的FST在不同的攻击设置下能够提供一致且稳定的性能。
使用零样本LLM在现实世界环境中推广端到端自动驾驶——论文阅读
qq_54556560的博客
05-09 387
2024年12月，纽约Stony Brook大学、UIC和桑瑞思公司联合发表了一篇关于自动驾驶的论文，提出了一种新型架构，将多模态大型语言模型（LLM）集成到端到端自动驾驶模型中，以增强其在现实环境中的泛化能力。传统自动驾驶方法采用模块化设计，存在误差累积问题，而端到端方法直接从传感器数据输出动作，但需要大量训练数据。本文提出的架构通过LLM定期生成高级驾驶指令，指导端到端模型，降低了对数据的需求，且无需微调LLM。实验表明，该架构在复杂测试环境中显著提升了模型的泛化能力，最佳组合的成功率从40%提升至83
【论文阅读】——Articulate AnyMesh: Open-Vocabulary 3D Articulated Objects Modeling
河海大学研究生在读的学习笔记
05-09 710
3D铰接对象建模长期以来一直是一个具有挑战性的问题，因为它需要捕获精确的表面几何形状以及语义上有意义和空间上精确的结构、零件和关节。现有方法严重依赖于一组有限的手工制作的铰接对象类别(例如，橱柜和抽屉)的训练数据，这限制了它们在开放词汇上下文中对大范围铰接对象建模的能力。为了解决这些限制，我们提出了articable ANYMESH，**这是一个自动化框架，能够以开放词汇的方式将任何刚性3D网格转换为其铰接的对应对象**。
【论文阅读】Adversarial Training Towards Robust Multimedia Recommender System
hongjianMa的博客
05-07 821
随着多媒体内容在网络上的普及，迫切需要开发能够有效利用多媒体数据中丰富信息的推荐解决方案。由于深度神经网络在表示学习方面的成功，近期多媒体推荐的研究主要集中在探索深度学习方法以提升推荐准确率。然而，到目前为止，针对多媒体表示的鲁棒性及其对推荐性能影响的研究仍然很少。本文旨在揭示多媒体推荐系统的鲁棒性问题。基于最先进的推荐框架和深度图像特征，我们展示了整体系统并不鲁棒：对输入图像施加微小（但有针对性）的扰动，就会严重降低推荐准确率。
[论文阅读]Deep & Cross Network for Ad Click Predictions
qq_41776136的博客
05-06 1060
点击率（CTR）预测是一个大规模的问题，对数十亿美元的在线广告行业至关重要。在广告行业，广告商付钱给出版商，让他们在出版商的网站上展示自己的广告。一种流行的付费模式是按点击付费（CPC）模式，即只有当点击发生时才向广告商收费。因此，发行商的收益很大程度上依赖于准确预测点击率的能力。识别频繁预测的特征，同时探索未见或罕见的交叉特征是做出良好预测的关键。然而，web尺度的推荐系统的数据大多是离散的和分类的，这导致了一个大而稀疏的特征空间，这对特征探索是一个挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值