A.S.E (AI Code Generation Security Evaluation) - 你的 AI 鉴赏官,为你提供大模型安全实践工具,让你一眼就能选出最靠谱的 AI 队友。
A.S.E 官网:https://aicgseceval.tencent.com/home
一个月前,A.S.E 上线,成了首个给 AI 生成代码做“项目级安全实践”的评测框架。
今天,我们带着沉甸甸的用户来信、一张写着“2.0 施工计划”的蓝图和新鲜出炉的榜单,来交作业啦!我们用实践检验AI模型能力,诚邀你一起做“AI 鉴赏官”。
1
社区反馈三重奏:立办、规划、坦诚
过去一个月,我们通过微信社群、调查问卷,和开源社区一共收集到12 条有效反馈,有人催英文站,有人吐槽移动端榜单,还有人对评测框架的设计细节进行了深入的咨询。
我们对所有用户反馈及时进行了跟进回复,今天在这里进行阶段性总结,将这些声音拆成三摞:立刻能办的、得排进 2.0 的、暂时做不到的。
先说立刻能办的:
●英文官网 7 月 16 日已悄悄上线。
●手机端也在 8 月 5 日做了适配。
●论文已公开到 arXiv 上:https://arxiv.org/abs/2508.18106
再说排进 2.0 的:
●静态方案误报太多?我们正在引入漏洞 PoC 进行动态实测。
●只看不跑?下一版会加“代码功能正确性”维度,跑不通就不给分。
●还有呼声最高的OWASP Top 10风险、 业务逻辑漏洞、Agent 排行榜……统统写进路线图,排期已经钉在白板上。
暂时做不到的也有:
●性能打分听起来很有必要,可思考模型和非思考模型的时间开销天生不在一条起跑线,我们打算后续统计耗时数据作为参考,但先不计入总分。
●代码(隐私)合规性维度也暂时搁置,毕竟安全这根弦还没拉满,先别分心。
🎁我们已经为“精选反馈官”寄送了腾讯精美礼品,如果你也有点子,戳下方问卷,下一份惊喜可能就是你。
A.S.E 用户反馈收集表:https://doc.weixin.qq.com/forms/AJEAIQdfAAoARwAuganAD0CN2ZD20i6Sf
2
A.S.E 2.0蓝图
1. 动态安全评估
用“真跑”替代“静态看”,把误报/漏报打下去。
2. 代码功能正确性判断
不再只看“写没写错”,还要看“跑没跑通”。
3. 漏洞类型大扩容
逐步覆盖 OWASP Top 10,业务逻辑漏洞、权限绕过……一个都跑不了。
4. 数据集多维度分级
按漏洞危害等级、任务复杂度等给题目打上标签,一眼看出是“新手村”还是“地狱副本”。
5. Agent 专项榜单
谁家的 Agent 生成代码更好更安全,2.0 告诉你。
3
有奖悬赏:分享A.S.E实战秘籍与宝藏场景
过去一个月,大模型产品圈像按下了加速按钮,各类SOTA模型发布层出不穷。
但我们更想听听你——用 A.S.E 选模型的人——怎么说。
你的分享可以是:
一段具体的 A.S.E 使用案例解析(发现了什么漏洞?避免了什么风险?)
用哪个开源模型结合 A.S.E,发现了意想不到的安全隐患或亮点?
有没有哪个具体的开发场景(比如 Web 安全、API 防护、智能合约审计...),A.S.E 让你对 AI 生成的代码更有信心了?
其他对 A.S.E 功能的实战建议或改进期待。
🎁 参与方式👇
【腾讯文档】A.S.E 实战体验收集表
截止日期:2025年9月10日
我们将:
●评选出 10 篇优秀分享,送出腾讯限定“长鹅”!
●精选部分优质内容,在 A.S.E 官网、社群及后续官方内容中进行推荐和展示(会注明作者及来源),让真实用户告诉你:如何用 A.S.E 发现 AI 代码的安全价值!
●这些来自社区的“一手情报”,也将成为我们改进 A.S.E 的重要参考!
立即行动,分享你的发现,赢取“长鹅”,让更多人看到你的真知灼见!
4
共建邀约:下一次进化
A.S.E的建设已经不只是我们一家的事。
A.S.E 1.0 上线后,吸引了多个行业内和高校研究团队的关注。目前,来自清华、北大、复旦、上交、浙大、中科院、新加坡管理大学等 7 所高校的 20 余位老师和硕博同学,正与我们并肩把 2.0 蓝图敲成代码:共同设计考题、共建数据集、共挖漏洞场景。对高校来说,是一次“真问题 + 真数据 + 真影响”的科研加速器;对开发者来说,则是一份可复现、可引用、可商业化的安全基线。
目前微信社群已吸引 200+ 用户加入,无论你是想加入联合实验,还是想顺手贡献一条评测数据,扫码进群或在 GitHub 提 Issue,都能立刻找到同频伙伴。下一次进化,众人拾柴火焰高!
●A.S.E开源项目:https://github.com/Tencent/AICGSecEval
欢迎直接到 A.S.E GitHub 仓库点 Star、提 Issue、交 PR。
每多一个 Star,我们就离“让每行 AI 生成的代码都更安全”更近一步!
●A.S.E 用户社群:

请使用个人微信扫码加入微信社群
880

被折叠的 条评论
为什么被折叠?



