Great Models Think Alike and this Undermines AI Oversight

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量310 收藏
点赞数 9
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM COT 文章标签： 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/145753609

本文是LLM系列文章，针对《Great Models Think Alike and this Undermines AI Oversight》的翻译。

伟大的模型思维相似，这破坏了人工智能的监督

摘要

随着语言模型（LM）能力的进步，对人类来说，大规模评估和监督它们变得越来越困难。有希望其他语言模型可以自动化这两项任务，我们称之为“人工智能监督”。我们通过提出机会调整概率协议（CAPA）来研究模型相似性如何影响人工智能监督的两个方面：基于模型错误重叠的LM相似性度量。使用CAPA，我们首先证明LLM作为评判者的分数倾向于与评判者相似的模型，从而推广了最近的自我偏好结果。然后，我们研究了LM注释的训练，发现弱监督者和强学生模型之间的互补知识在从“弱泛化到强泛化”的过程中起着至关重要的作用。随着模型能力的提高，发现错误变得更加困难，我们可能会更多地听从人工智能的监督。然而，我们观察到一个令人担忧的趋势——随着能力的提高，模型错误变得越来越相似，这表明了相关故障的风险。我们的工作强调了报告和纠正模型相似性的重要性，特别是在新兴的人工智能监督范式中。

1 引言

2 方法：测量LM相似性

3 LLM-as-a-Judge中的亲和力偏差

4 学习LM标注器的互补知识

5 随着能力的提高，模型会犯更多类似的错误

6 相关工作

7 结论，局限性，未来工作

我们的论文表明了测量语言模型功能相似性的重要性。我们推导了一种新的模型相似性概率度量CAPA（

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Transformers and State Space Models: More Alike Than You Think
步子哥的博客
06-27 706
Hey there, AI enthusiasts! Today, we’re diving into some exciting developments in the world of language models. You’ve probably heard of Transformers, the powerhouses behind ChatGPT and other AI marvels. But there’s a new kid on the block called State Spac
5.2 Great minds think alike！
sereasuesue的博客
09-02 531
Sofarsogood.过得去；到目前为止，一直都还不错 例句： Theworkisratherdifficult,butsofarsogood. 工作相当困难，但到目前为此还算顺利。 Believeitornot信不信有你Don'tletmedown！ 别让我失望！ 例句： Don'tle...
ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction阅读笔记
weixin_46078886的博客
06-22 2129
在本文中，提出了ALIKE，一种端到端的准确且轻量级的关键点检测和描述符提取网络。它使用可微分的关键点检测模块来检测准确的亚像素关键点。然后利用提出的重投影损失和分散性峰值损失来训练关键点。除了关键点外，还使用NRE损失来训练具有辨别性的描述符，并提出了可靠性损失来强制关键点的可靠性。
186. Great minds think alike. 英雄之见略同
ylmmee的专栏
03-09 417
英雄之见略同。
阿里云|人工智能（AI）技术解决方案
wys的专栏
12-18 1919
阿里云|人工智能（AI）技术解决方案
翻译: 人工智能如何让世界变得更美好五
AI架构师易筋
04-01 1061
前两节是关于开发治疗疾病和改善人类生活质量的新技术。然而，从人道主义角度来看，一个显而易见的问题是：“每个人都能使用这些技术吗？开发一种疾病的治疗方法是一回事，根除这种疾病又是另一回事。这 更广泛地说，许多现有的卫生干预措施尚未在世界各地应用。世界，就此而言，同样的情况也适用于一般（非医疗）技术改进。换句话说，世界许多地方的生活水平仍然极低 贫穷的： 人均国内生产总值是 撒哈拉以南非洲地区约 2,000 美元，而美国约 75,000 美元。
智能ai深度学习技术_人工智能深度学习与医学
weixin_26630173的博客
09-23 3490
智能ai深度学习技术As physicians, nurses, dentists, or any healthcare expert, we all have experienced the earshot of floating buzzwords about the themes of Artificial intelligence (AI), machine learning (ML), ...
Distinguishing Look-Alike Innocent and Vulnerable Code by Subtle Semantic Representation Learning an
XLYcmy的博客
07-01 1174
在本文中，本文提出了一种名为SVulD的新方法，即用于漏洞检测的函数级细微语义嵌入方法，并附带直观解释，以缓解上述限制。三元组网络的第二层是基于余弦距离算子的损失函数，带有投影器的变换操作，用于最小化相似函数之间的距离，最大化不相似函数之间的距离。其次，所有研究的数据集都是从开源项目收集的，SVulD 在商业项目上的性能未知。特别是，它在 F1 分数和 PR-AUC 上取得了压倒性的结果，这表明配备对比学习和预训练模型的 SVulD 具有更强的学习函数语义的能力，尤其是对于那些词法相似但语义不同的函数。
人工智能，为我所用
GitChat
04-12 2022
内容简介 自2016年谷歌 AlphaGo 赢得了围棋大战后，人工智能近两年迎来了新一轮的爆发。人工智能在产业界和资本圈引起了高度关注，成为新的风口。 人工智能的三个核心要素是数据、算法和计算能力。相比前几次的热潮，目前 AI 在数据、算法和计算能力方面都有更加坚实的基础。人工智能并不是一个单独的存在，而必须要和其他产业结合起来才能提升效率，创造价值。本期我们为大家集结了2017年人工智能应用在...
ALIKE: Accurate and Lightweight Keypoint Detection and Descripto
04-14
"ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction" ALIKE 是一种高效的关键点检测和描述符提取算法，其特点是具有高准确性和轻量级网络架构。下面是对 ALIKE 的详细介绍： 关键点...
122_Stochastic_Models，_Statistics_and_Their_Applications.pdf
08-31
This volume presents selected and peer-reviewed contributions from the 14th Workshop on Stochastic Models, Statistics and Their Applications, held in Dresden, Germany, on March 6-8, 2019. Addressing ...
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 233
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 454
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 291
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 445
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 448
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1941
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 504
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 311
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
还有哪些，比如alike，is，all，and, in等等
07-18
### MongoDB Criteria 查询条件中的操作符 MongoDB 的 `Criteria` 类提供了多种方法用于构建查询条件，这些操作符涵盖了常见的逻辑和比较需求。以下是一些常用的操作符及其使用方式。 #### 1. 比较操作符 - **`is(value)`**：用于匹配字段等于指定值的文档。 ```java Criteria.where("field").is("value"); ``` - **`gt(value)`**：匹配字段大于指定值的文档。 ```java Criteria.where("field").gt(100); ``` - **`gte(value)`**：匹配字段大于或等于指定值的文档。 ```java Criteria.where("field").gte(18); ``` - **`lt(value)`**：匹配字段小于指定值的文档。 ```java Criteria.where("field").lt(50); ``` - **`lte(value)`**：匹配字段小于或等于指定值的文档。 ```java Criteria.where("field").lte(20); ``` - **`ne(value)`**：匹配字段不等于指定值的文档。 ```java Criteria.where("field").ne("value"); ``` - **`in(Collection<?> values)`**：匹配字段值在指定集合中的文档。 ```java List<String> values = Arrays.asList("value1", "value2"); Criteria.where("field").in(values); ``` - **`nin(Collection<?> values)`**：匹配字段值不在指定集合中的文档。 ```java List<String> values = Arrays.asList("value1", "value2"); Criteria.where("field").nin(values); ``` - **`exists(boolean exists)`**：检查字段是否存在。 ```java Criteria.where("field").exists(true); // 字段存在 Criteria.where("field").exists(false); // 字段不存在 ``` - **`type(int type)`**：匹配字段类型为指定类型的文档。 ```java Criteria.where("field").type(2); // 2 表示字符串类型 ``` #### 2. 逻辑操作符 - **`andOperator(Criteria... criteriaArray)`**：组合多个条件，所有条件都必须满足（AND）。 ```java Criteria criteria = new Criteria(); criteria = criteria.andOperator( Criteria.where("status").is("active"), Criteria.where("age").gte(18) ); ``` - **`orOperator(Criteria... criteriaArray)`**：组合多个条件，至少一个条件满足（OR）。 ```java Criteria criteria = new Criteria(); criteria = criteria.orOperator( Criteria.where("status").is("active"), Criteria.where("age").lt(18) ); ``` - **`not()`**：取反操作符，用于否定后续的条件。 ```java Criteria.where("field").not().gt(100); // 字段不大于100 ``` #### 3. 数组操作符 - **`all(Collection<?> values)`**：匹配数组字段包含所有指定值的文档。 ```java List<String> values = Arrays.asList("value1", "value2"); Criteria.where("field").all(values); ``` - **`size(int size)`**：匹配数组字段长度为指定大小的文档。 ```java Criteria.where("field").size(3); ``` #### 4. 正则表达式操作符 - **`regex(String regex)`**：匹配字段符合正则表达式的文档。 ```java Criteria.where("field").regex("^A"); // 匹配以"A"开头的字段 ``` #### 5. 其他操作符 - **`where(String field)`**：静态方法，用于创建一个新的 `Criteria` 对象。 ```java Criteria.where("field").is("value"); ``` ### 示例代码 以下是一个完整的示例，展示如何使用 `Criteria` 构建一个包含 AND 条件、排序和分页的查询： ```java import org.springframework.data.mongodb.core.query.Criteria; import org.springframework.data.mongodb.core.query.Query; import org.springframework.data.domain.Sort; public class MongoQueryExample { public static void main(String[] args) { Criteria criteria = new Criteria(); criteria = criteria.andOperator( Criteria.where("status").is("active"), Criteria.where("age").gte(18) ); Query query = new Query(criteria); query.sort(Sort.by(Sort.Direction.DESC, "created_at")); query.skip(0); query.limit(20); System.out.println(query); } } ``` 该示例将生成一个查询，筛选出状态为 `active` 且年龄大于等于 18 的用户，并按 `created_at` 字段降序排列，返回前 20 条记录。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值