从“小”培养AI安全意识：OpenAI开源最新强化学习训练工具，安全约束自由定制，开箱即用...

于 2019-11-22 12:21:21 发布
阅读量382 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QbitAI/article/details/103209355
OpenAI推出了Safety Gym，一套用于约束强化学习的开源工具，旨在训练AI时内置安全约束，防止危险行为。该环境包括点、车、狗狗三种机器人及多种任务，允许用户自定义安全约束，如危险区域、易碎物品等，提供了标准化评估方法，挑战强化学习算法在复杂任务中的安全性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

强化学习（RL）很强，能训练出会用鸡贼策略的星际宗师级玩家。


△AlphaStar打出cannon rush

但强化学习也很危险，因为它的套路是无限制探索，常常会出现一些疯狂危险的尝试。

但在现实环境中，有些试错是不可接受的。没有人希望看到，AI通过反复撞车来学会避免事故发生。

要让强化学习从虚拟环境走向现实生活，强化学习界的高玩OpenAI说：安全意识要从“小”抓起。

于是，他们开源了Safety Gym。

这是一套具有安全约束的训练环境和工具，能够评估强化学习智能体在训练

最低0.47元/天 解锁文章
QbitAl
关注
博客
苹果开发者自曝用Claude完成95%开发，开发应用已上架
07-07 9
在实际开发过程中，Claude能够定位并阅读项目中的现有源代码、理解代码风格和设计模式、阅读提供的额外文档、生成测试验证、编译程序并运行测试，并根据编译和测试失败进行迭代修复等。对我而言，这个过程中最令人兴奋的事情不是我所构建的应用，而是我现在能够再次满足我的编程欲望并发布精良的副项目。他发现，虽然模型拥有200k tokens的上下文窗口，但模型的性能会随着上下文窗口的使用增加而下降，且“压缩”机制可能导致重要的细节被丢失。Claude能够独立驱动反馈循环，使其能够进行更改、测试并收集失败原因的上下文。
博客
Meta新注意力机制突破Transformer上限，还用上了OpenAI的开源技术
07-07 13
2-Simplicial Transformer的缩放指数α明显高于传统Transformer，说明模型性能随参数量、数据量的增加，变强速度更快。不过，研究人员也提到，目前，2-Simplicial Transformer的计算复杂度和延迟仍然较高，Triton虽然高效，但仍需进一步优化以适配生产环境。实验结果显示，在同等参数量和数据量下，相较于传统Transformer，新架构在数学、编程、推理等任务上均有更好的表现。传统Transformer的核心机制是点积注意力，其计算复杂度较低，但对复杂任务。
博客
韩国教授自曝同行评审新作弊法：论文暗藏指令，要求AI给好评，北大哥大新国立等14所高校卷入
07-07 8
另一篇稿件的合著者、早稻田大学的一位教授表示，鉴于许多学术会议禁止使用AI评估论文，加入提示词旨在制止这种做法。KAIST一位副教授表示：插入隐藏提示词是不合适的，因为它鼓励了积极的评价，尽管在评审过程中是禁止使用AI的。这些提示通过白色文本或者极小的字体等技巧，隐藏在文中的摘要、结论等部分中，人类正常肉眼是看不出来的。消息称，这种提示通常为一到三句话。不过调查到的这些论文中，KAIST是重灾区，至少有三篇都使用了这样的提示。另一位教授强调，此举是对那些懒惰的审稿人的反击，谁让他们用AI审稿的！
博客
刷新复杂Agent推理记录！阿里通义开源网络智能体超越DeepSeek R1，Grok-3
07-07 24
对此，研究团队借助开源的LRM（如QWQ和DeepSeek R1）来尝试回答SailorFog-QA的问题，收集它们与环境交互的轨迹，虽然开源模型在这些复杂问题上正确率不高，但通过拒绝采样，依然可以获得足够的冷启动数据。他的配偶是间谍B，B曾在不同大陆活动，并两次暴露身份：第一次是在欧洲某国，与两名美国人一同被警方逮捕，他们的间谍网络被破获；WebSailor的工作表明，要让AI真正迈向“超越人类能力”的级别，仅靠现有的简单训练任务远远不够，必须定义更复杂、更高不确定性的新任务，不断挑战模型的极限。
博客
空间智能率先落地国民APP！实测：时空决策很顺滑，直达千人N面出行体验
07-07 10
总结起来，小高老师看着和过去的AI助手很像，用户也是通过打字或语音和其交流，但小高老师提供的不仅是信息，而是根据你所处的时间、地点，提供全面的生活建议，并且给出最符合当下时空信息的导航规划，帮你一键到达。完成，否则行动将会失效。你跟它沟通，输入的是语音或文字等多模态信息，小高老师不仅会以语音文字回复你，更方便的是，它会直接在对话栏里给出目的地路程规划信息，。总的来说，最新版高德解决的问题，不再仅限于“怎么去”，而是告诉用户，此时此刻适合去哪里，怎么去，去了能做什么，时时刻刻，千人千面。
博客
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
07-07 9
实验先计算模型在每个benchmark任务上相比基线模型（Qwen3-14B-Base）的性能提升幅度，再将这个提升除以基线模型在该任务上的分数，以此得到相对提升的百分比，最后对同一组内所有任务的相对提升求均值，得到该任务组整体的相对增益。通俗来说，通过PCA偏移分析，就能够得知模型在后训练阶段，究竟是既保留了原有的知识，又在具体领域变得更强了，还是学了新的就忘了旧的。采用RL微调的模型，在其他推理任务和非推理任务上都能持续获得更高的迁移能力指标，而使用SFT的模型则往往在非推理任务上出现负迁移。
博客
AI发现医生看不见的隐藏心脏病风险，近90%准确率远超人类专家｜Nature子刊
07-07 8
例如，如果模型指出患者因某种特定的瘢痕模式而处于高风险，医生就可以更精确地评估是否需要植入除颤器或或优化药物治疗策略等其他干预措施，而不是仅仅基于一个不明确的风险百分比进行评估。这种设计使模型能够从不同数据中提取特征，并通过MBT（多模态融合模块）学习跨模态的相互作用，有效整合知识，避免了简单拼接数据导致的过拟合问题。在LGE-CMR注意力图中，高风险患者注意力集中在增强区域（红色），低风险患者关注周围组织（蓝色）。架构，直接分析LGE-CMR（增强心血管磁共振成像）原始信号强度，避免了人工解读的主观性。
博客
DeepSeek推理最高提速6倍！开源研究：加装「思维进度条」，计算量减少30%
07-07 9
在大多数情况下，这两种方法都提高了所有三个指标，证明它们是评估TPV超频方法的强基线。其中图（a）展示了多个思考轨迹的数据点的汇总视图，图 （b, c）则展示了Math-500测试集中单个问题的思考轨迹上的TPV预测和平滑预测。：尽管基线方法表现优异，且基于温度的基线方法需要大约五倍的计算资源，但TPV的方法通过产生更多正确答案和更明确的响应，在性能上超越了它们。：增加α从5到100，无论是否使用基于指令的加速，都会增加模型生成的完成、结束和正确答案的数量，证明TPV的干预方法影响了思考长度。
博客
“英伟达显卡就是一坨*”！博主6000字檄文怒批：烧接口、缺单元、驱动变砖还威胁媒体
07-07 16
并且后来陆陆续续的新发现表明，这些情况并非是ZOTAC的问题，因为MSI、技嘉、Palit和Inno3D的5090都出现了同样的问题，另一方面也有人报告自己的ZOTAC卡是正常的。50系发售初期，有大量用户发现更新驱动后显卡直接“变砖”，虽然亮灯但系统中检测不到，BIOS里也无法识别，5090/90D/80都有涉及，而且不同供应商版本都出现了这类问题。一名叫Wuxi-gamer的用户发帖说，自己在用GPU-Z检测自己的卡时发现，本来应该是176个的ROP，实际只有168，一下子少了8个，也就是4.54%。
博客
Karpathy最新脑洞「细菌编程」：优秀的代码应该具备细菌的三大特质
07-07 8
现在的软件都是为人类设计的，到处都是“点击这里”的指令，大模型看不懂。Karpathy表示，很多人觉得提示词就是日常用大模型时输入的简短指令，但在所有工业级LLM应用中，“上下文工程”完全是另一门艺术与科学，它得精准把控上下文窗口里的信息填充。Karpathy表示，相比之下，真核生物基因组是更大、更复杂、组织更紧密的monorepo，创新性明显较低，却是构建完整器官和协调生命活动的必要条件。另外，还有一个新词，虽然不是Karpathy率先提出的，但得到了他的力挺，这个词就是前几天大火的——
博客
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
07-06 13
而HarmoniCa不依赖底层魔改，无需专用硬件，在各种主流采样器和设备上都能稳定提速，保持图像质量，是当前更通用、更稳妥的部署选择。在PIXART、DiT、LFM等多个模型上，HarmoniCa都实现了更快的推理、更高的质量、更低的训练门槛，为缓存加速技术注入“可落地”的关键支撑。传统方法在训练时仅采样某个时间步，缓存是空的，完全跳过了“历史缓存影响”，而推理时，缓存是从头累积的，训练和推理根本不是一回事。越关键的时间步，其 λ(t) 越大，引导 Router 减少该步缓存复用，保留精度；
博客
老黄再收95后华人才俊！4亿美元收购AI初创公司
07-06 14
焦剑涛，清华2011年本科特奖得主。王尚，多伦多大学博士毕业，曾在英伟达作为高级软件工程师参与深度学习的GPU性能优化工作，后续又在CentML担任首席技术官，这次再度加盟英伟达，也算是重回老东家。韩松创办的专注边缘设备机器学习优化的OmniML，在2023年7月也被英伟达收购，韩松加入英伟达成为杰出科学家。的新方法，通过并行扫描算法优化BP，提升其在大规模并行系统中的性能，该论文也被发表在MLSys 2020。在本次交易中，CentML的核心团队也全部被老黄打包带入英伟达的AI软件部门，并担任高级职位。
博客
谁是余家辉？“年薪1亿美元”AI研究员，中科大少年班天才，吴永辉的嫡系弟子
07-06 794
在黄煦涛的指导下，余家辉于2018年发表的DeepFill v1和2019年的DeepFill v2，让AI能真正理解图像内容，不再是简单的像素填补。，让计算机能更智能地理解图像和文本之间的关系，推动了多模态AI技术的发展，尤其在图像识别、检索和生成描述等方面具有广泛应用前景。这套理论现在被广泛认可为AI公司成功的必要条件，特别是“组织积累”这一点，预言了后来各大公司在AI团队架构上的调整。更魔幻的是，当全世界都在讨论这个天价薪酬包时，当事人却像人间蒸发一样，没有回应，没有声明，甚至连个动态都没发。
博客
蒙娜丽莎让大模型们几乎全军覆没！网友：懂了，AI不会眯眼睛
07-06 11
负责回答这个问题的是Qwen3-235B-A22B，在完成深度思考之后，它发现了这是个人的侧脸剪影。既然直接问「画的是谁」问不出来，那给一点提示，让它可以尝试眯着眼睛。它能准确判断出这是一张视觉错位图，也通过「眯着眼睛」识别出来了具体的脸部轮廓，结果在最后关头识别错了。因为网友在它第一次打错之后，就给模型提示说这是一张著名的画作。豆包的回答与Gemini类似，能够判断出图像的风格、人脸轮廓，但是无法判断具体任务。Gemini的回答则还停留在各种颜色的条纹，也辨认出这是个侧脸的轮廓。没错，就是蒙娜丽莎。
博客
对话AI记账TOP1 「咔皮记账」：小众赛道半年实现百万级用户，AI初创产品如何挖掘增量市场
07-05 14
AI记账，本应是一个略显红海的小众市场。一方面，能够保持自律坚持记账的人数有限，增量市场不明确。同时，上一代记账产品已发展多年，用户习惯已经养成，难以抢占存量市场。而AI产品咔皮记账，却凭借年轻人的个人CFO这一定位，在半年内新增用户超百万。基于AI功能创新，不仅挖掘转化了「想记账但觉得累」的大量潜在人群，还提供了AI财务分析相关的专属用户体验，创造了特有的增量市场。6月19日晚，量子位智库聚焦AI产品的1v1深度访谈节目「AI产品Time」邀请到了这款国内AI记账的TOP1产品，由产品负责人张洋从需求挖掘
博客
Karpathy提的“软件3.0”已过时，交互即智能才是未来 | 上交大&创智刘鹏飞
07-05 18
开发者必须学会构建多维度的上下文架构：包括任务上下文（当前工作的具体目标和约束条件）、用户上下文（用户的专业背景、认知习惯和偏好模式）、历史上下文（之前的交互历史和决策轨迹）、环境上下文（当前的工作环境、时间压力和资源限制）以及认知上下文（用户当前的思维状态、注意力分配和认知负荷）。但2024年9月之后，我们见证了AI能力的代际跃迁：从GPT-4的生成能力到o1系列的深度推理，从简单的指令执行到具备元认知意识的思考能力。传统的聊天界面被设计用于简单的问答交互，根本无法承载认知协作的复杂需求。
博客
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
07-05 14
考虑到完整Sekai-Real数据集训练成本高昂，团队开发了一套综合视频质量、多样性（包括内容、地点、类别、相机轨迹）的采样策略，从而获得优中取优的Sekai-Real-HQ子集，用于进一步的模型训练。团队设计了综合考虑视频画质、内容多样性、地点、天气、时间、相机运动轨迹等多个维度的采样模块，优中取优提取了超过300小时的子集Sekai-Real-HQ。，服务于交互式视频生成、视觉导航、视频理解等任务，旨在利用图像、文本或视频构建一个动态且真实的世界，可供用户不受限制进行交互探索。
博客
数学题干带猫AI就不会了！错误率翻300%，DeepSeek、o1都不能幸免
07-05 16
由于问题的修改和正误的判断都是AI完成的，作者还进行了进一步检查，以确认模型的错误回答不是因为题目愿意被改动造成，结果60%的问题与原来的语义一致。在三角形△ABC中，AB=96，AC=97，以A为圆心、AB为半径的圆与BC相交于B、X两点，且BX和CX的长度均为整数，求BC的长度。举个例子，有这样一道题目，作者使用了焦点重定向的方式进行攻击，结果攻击之后DeepSeek用两倍的Token得到了一个错误答案。实验对象包括R1、用R1蒸馏的Qwen-32B，以及OpenAI的o1和o3-mini。
博客
Data Agent如何帮助企业打造懂你的“电子牛马”？｜数势xSelectDB
07-05 17
比如我们有一个客户是大型零售连锁，全国有几千家门店，他们通过 Agent 分析门店经营数据后，可以自动判断出哪些门店存在特定问题，并触发任务系统，直接将具体改进任务下发给店长或店员，这些任务根据公司 SOP 要求在一周内完成。这是我们所说的“懂业务”。正如前面提到的，Agent 有着主动性、个性化等特征，而传统 BI 模式中，数据的使用是被动的。GPT-1 和 GPT-2 出现时并没有引起太多关注，因为它们训练所用的数据量和质量还不够，而到了 GPT-3，训练数据的数量级提升了好几个层次，才带来了质变。
博客
DeepSeek降本秘诀曝光：2招极致压榨推理部署，算力全留给内部AGI研究
07-04 28
另外Claude模型被设计成生成更简洁的回复，回答同样的问题，DeepSeek和Gemini可能要多花3倍的token。DeepSeek还把很多用户的请求打包在一起处理，虽然每个token的成本降下来了，但每个用户等待的时间也增加了。如果想选择更大更稳定的服务商，微软Azure平台价格是DeepSeek官方的2.5倍，但延迟减少了整整25秒。在有限的推理计算资源下，只提供64k上下文窗口的服务，在主流模型提供商中算是最小的之一。其次，第三方平台托管的DeepSeek模型使用量疯狂增长，比刚发布时涨了将近。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值