【免费下载链接】baoyan-agent-benchmark
Sprix AI at 屿智同行 × 保研岛 — an open-source benchmark for AI agents in Baoyan advising and application planning.
想看懂 AI Agent 到底能不能当"保研军师"?开源项目 baoyan-agent-benchmark(屿智同行出品)给出了答案:这是一套面向保研择校与申请规划的 Agent 评测题库,包含 70 道中文任务、23 组学生案例、83 个作答阶段,覆盖 21 道择校推荐题、36 道规划与决策题和 13 道两阶段题,每题满分 100 分,并配有逐题评分标准(rubric)。本文带你读懂这套保研题库的设计思路与评分机制。
一图看懂:保研题库的70道题怎么分布?
题库的三类任务对应保研咨询的三个真实场景,题面与评分项全部收录在 questions-and-scoring.md 中:
| 题型 | 题数 | 作答阶段 | 考察重点 |
|---|---|---|---|
| 完整择校推荐 | 21 | 21 | 推荐项目与学生背景的匹配度 |
| 单阶段规划与决策 | 36 | 36 | 准备路径、风险判断、可执行建议 |
| 两阶段任务 | 13 | 26 | 新信息出现后是否更新建议 |
| 合计 | 70 | 83 | — |
数据文件的组织方式很直观:57 道单阶段题存放在 data/dev/ 目录(每题一个 task.json 题面和 rubric.json 评分标准),13 道两阶段题存放在 data/staged-dev/ 目录;完整的题库清单与内容哈希记录在 config/selections/current.json。
21道择校推荐题:AI推荐的项目"靠不靠谱"
择校推荐题的题面很生活化,例如 BY-A-APPLY 中的学生:
"我在华东地区一所211高校读新能源材料与器件(中外合作办学)……我参与过国家级大创,研究二维碳材料……能帮我推荐31个学校、学院和具体专业(项目)组合吗?"
这类题的评分采用 70 + 30 结构(详见 docs/scoring.md):
- 参考项目匹配(70分):推荐项按"完整或等价匹配 100%、同院系相近专业 60%、同校跨院系相关方向 30%、无有效匹配 0%"四级系数计分,并按最高总分一对一分配——也就是说,只报个学校名字、说不出具体项目,是拿不到匹配分的;
- 推荐质量(30分):考察学生适配分析、风险取舍与建议的可执行性。
这种"先对答案、再看说理"的双层设计,正是择校推荐类 AI 最薄弱的地方:模型很容易给出"听起来很合理"的项目清单,但经不起与招生主体、学位路径的逐项核对。
36道规划题:不只有答案,更看"下一步做什么"
规划与决策题占比最高(36题),它们不要求 AI 直接"给答案",而是考察准备路径、风险判断和可执行建议。
以 N01-01 为例:湖南大学智能土木专业、排名前 9%、做过机器视觉项目的学生问"接下来应该先做什么?"。对应的 rubric.json 把 100 分拆成了 9 个可核查的评分项,比如:
| 评分项 | 分值 | 满分要点(节选) |
|---|---|---|
| 力学基础与专业课复习 | 15 | 建议系统复习理论力学、材料力学等,并注明具体科目待核 |
| 现有科研工作的系统复盘 | 20 | 梳理研究问题、个人分工和证据;不把"参与、在投"当作已完成成果 |
| 投入优先关系 | 10 | 说明课程、科研、英语、材料准备的先后取舍 |
每个评分项只取 0 分、半分、满分 三档:遗漏、空话或核心错误为 0;已有正确内容但关键部分不足取半分。这套细则让"AI 说了漂亮话但没干货"的情况无处遁形。
13道两阶段题:新信息来了,AI会改主意吗?
这是整套保研题库中最有创意的设计。真实咨询里,学生的情况会变:寒假规划做好了,三月份却决定改申直博、首选学校也变了。两阶段题正是模拟这个过程——在同一会话中先给出初始情境 S₀,再补充新信息 S₁,观察 Agent 的初始回复 A₀ 与修订回复 A₁ 是否一致自洽,两个阶段合并为一道题评分。
以公开任务 O03-04 为例:
- S₀(2026年1月):哈工大(威海)化工专业、排名前 7% 的学生,寒假要兼顾课程复习、论文和竞赛,该怎么取舍?
- S₁(2026年3月):更想申请直博,复旦是首选,偏好南方——寒假的安排在申请阶段还适用吗?
对应的 rubric.json 五项标准中,权重最高的三项(各 25 分)分别是:历史状态保持(不得把 3 月才知道的信息"倒灌"进 1 月的回答)、教师方向对应、新信息核对与计划适配(保留仍适用的安排、调整不再适用的安排,并说明取舍依据)。这考察的是 Agent 的"记忆一致性 + 动态更新"能力,而非单轮问答技巧。
难度分布与实测结果:谁最能打?
70 道题的难度标签经负责人确认:简单 14 题(20%)、中等 34 题(48.57%)、困难 22 题(31.43%),标签文件见 current70-owner-approved.csv。
在 8 组 Agent 配置(执行系统 + 模型)的实测中(见 README.zh-CN.md 评测榜单):
| 排名 | Agent 配置 | 均分 / 100 |
|---|---|---|
| 1 | Codex + GPT Sol 6.1 | 79.08 |
| 2 | Codex + GPT Astra 6 | 78.36 |
| 3 | DSH + DeepSeek V4.1 Flash | 68.16 |
| 8 | Antigravity + Gemini 3.1 Pro | 55.55 |
从分题型表现可以直观看到:不同 Agent 配置在三类任务上的强弱并不一致——有的擅长"海投"式项目匹配,有的则在两阶段的动态更新上掉链子。逐题状态与完整答卷可在 experiments/records70/README.md 指引的结果记录中查阅。
新手上手:如何跑一遍这套保研题库
整个框架只依赖 Python 标准库,无需 pip install。在仓库根目录选择一组 Agent 配置后,按 快速开始 执行三条命令即可:
AGENT=gpt-6-1-sol
python3 -m benchmark setup --agent "$AGENT"
python3 -m benchmark cli-check --agent "$AGENT"
python3 -m benchmark cli-batch --selection config/selections/current.json \
--agent "$AGENT" --out "./runs/current-$AGENT"
注意:cli-batch 默认只做预览,不会调用模型;确认无误后加上 --execute 才会消耗你的账号额度。评分材料与答题进程严格隔离,评分通则见 docs/scoring.md,复现细节见 docs/reproduction.md。
小结
baoyan-agent-benchmark 用 21 道择校题考验"推荐准不准"、用 36 道规划题考验"建议有没有用"、用 13 道两阶段题考验"情况变了跟不跟得上"。对新手来说,它是观察保研 AI 能力边界的最佳窗口;对评测者来说,其逐题 rubric + 分层匹配 + 教师校准的评分体系,也值得参考。想动手试试?从上面的三条命令开始就对了。
【免费下载链接】baoyan-agent-benchmark
Sprix AI at 屿智同行 × 保研岛 — an open-source benchmark for AI agents in Baoyan advising and application planning.
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考








