保研题库终极指南:baoyan-agent-benchmark的21道择校题、36道规划题与13道两阶段题是怎么设计的?

【免费下载链接】baoyan-agent-benchmark

Sprix AI at 屿智同行 × 保研岛 — an open-source benchmark for AI agents in Baoyan advising and application planning.

项目地址: https://gitcode.com/gh_mirrors/ba/baoyan-agent-benchmark
点击查看 免费下载

想看懂 AI Agent 到底能不能当"保研军师"?开源项目 baoyan-agent-benchmark(屿智同行出品)给出了答案:这是一套面向保研择校与申请规划的 Agent 评测题库,包含 70 道中文任务、23 组学生案例、83 个作答阶段,覆盖 21 道择校推荐题、36 道规划与决策题和 13 道两阶段题,每题满分 100 分,并配有逐题评分标准(rubric)。本文带你读懂这套保研题库的设计思路与评分机制。

一图看懂:保研题库的70道题怎么分布?

题库的三类任务对应保研咨询的三个真实场景,题面与评分项全部收录在 questions-and-scoring.md 中:

题型题数作答阶段考察重点
完整择校推荐2121推荐项目与学生背景的匹配度
单阶段规划与决策3636准备路径、风险判断、可执行建议
两阶段任务1326新信息出现后是否更新建议
合计7083—

保研Agent评测题库70道题的三类型分布图

数据文件的组织方式很直观:57 道单阶段题存放在 data/dev/ 目录(每题一个 task.json 题面和 rubric.json 评分标准),13 道两阶段题存放在 data/staged-dev/ 目录;完整的题库清单与内容哈希记录在 config/selections/current.json。

21道择校推荐题:AI推荐的项目"靠不靠谱"

择校推荐题的题面很生活化,例如 BY-A-APPLY 中的学生:

"我在华东地区一所211高校读新能源材料与器件(中外合作办学)……我参与过国家级大创,研究二维碳材料……能帮我推荐31个学校、学院和具体专业(项目)组合吗?"

这类题的评分采用 70 + 30 结构(详见 docs/scoring.md):

  • 参考项目匹配(70分):推荐项按"完整或等价匹配 100%、同院系相近专业 60%、同校跨院系相关方向 30%、无有效匹配 0%"四级系数计分,并按最高总分一对一分配——也就是说,只报个学校名字、说不出具体项目,是拿不到匹配分的;
  • 推荐质量(30分):考察学生适配分析、风险取舍与建议的可执行性。

这种"先对答案、再看说理"的双层设计,正是择校推荐类 AI 最薄弱的地方:模型很容易给出"听起来很合理"的项目清单,但经不起与招生主体、学位路径的逐项核对。

36道规划题:不只有答案,更看"下一步做什么"

规划与决策题占比最高(36题),它们不要求 AI 直接"给答案",而是考察准备路径、风险判断和可执行建议。

以 N01-01 为例:湖南大学智能土木专业、排名前 9%、做过机器视觉项目的学生问"接下来应该先做什么?"。对应的 rubric.json 把 100 分拆成了 9 个可核查的评分项,比如:

评分项分值满分要点(节选)
力学基础与专业课复习15建议系统复习理论力学、材料力学等,并注明具体科目待核
现有科研工作的系统复盘20梳理研究问题、个人分工和证据;不把"参与、在投"当作已完成成果
投入优先关系10说明课程、科研、英语、材料准备的先后取舍

每个评分项只取 0 分、半分、满分 三档:遗漏、空话或核心错误为 0;已有正确内容但关键部分不足取半分。这套细则让"AI 说了漂亮话但没干货"的情况无处遁形。

13道两阶段题:新信息来了,AI会改主意吗?

这是整套保研题库中最有创意的设计。真实咨询里,学生的情况会变:寒假规划做好了,三月份却决定改申直博、首选学校也变了。两阶段题正是模拟这个过程——在同一会话中先给出初始情境 S₀,再补充新信息 S₁,观察 Agent 的初始回复 A₀ 与修订回复 A₁ 是否一致自洽,两个阶段合并为一道题评分。

同一会话中两阶段保研评测的S0/S1提问与A0/A1修订流程示意

以公开任务 O03-04 为例:

  • S₀(2026年1月):哈工大(威海)化工专业、排名前 7% 的学生,寒假要兼顾课程复习、论文和竞赛,该怎么取舍?
  • S₁(2026年3月):更想申请直博,复旦是首选,偏好南方——寒假的安排在申请阶段还适用吗?

对应的 rubric.json 五项标准中,权重最高的三项(各 25 分)分别是:历史状态保持(不得把 3 月才知道的信息"倒灌"进 1 月的回答)、教师方向对应、新信息核对与计划适配(保留仍适用的安排、调整不再适用的安排,并说明取舍依据)。这考察的是 Agent 的"记忆一致性 + 动态更新"能力,而非单轮问答技巧。

保研题库70题的难度分布:简单14题、中等34题、困难22题

难度分布与实测结果:谁最能打?

70 道题的难度标签经负责人确认:简单 14 题(20%)、中等 34 题(48.57%)、困难 22 题(31.43%),标签文件见 current70-owner-approved.csv。

在 8 组 Agent 配置(执行系统 + 模型)的实测中(见 README.zh-CN.md 评测榜单):

排名Agent 配置均分 / 100
1Codex + GPT Sol 6.179.08
2Codex + GPT Astra 678.36
3DSH + DeepSeek V4.1 Flash68.16
8Antigravity + Gemini 3.1 Pro55.55

8组Agent配置在保研70题评测上的平均得分与完成率对比

8组Agent配置在择校推荐、规划决策、两阶段三类任务上的平均分对比

从分题型表现可以直观看到:不同 Agent 配置在三类任务上的强弱并不一致——有的擅长"海投"式项目匹配,有的则在两阶段的动态更新上掉链子。逐题状态与完整答卷可在 experiments/records70/README.md 指引的结果记录中查阅。

新手上手:如何跑一遍这套保研题库

整个框架只依赖 Python 标准库,无需 pip install。在仓库根目录选择一组 Agent 配置后,按 快速开始 执行三条命令即可:

AGENT=gpt-6-1-sol
python3 -m benchmark setup --agent "$AGENT"
python3 -m benchmark cli-check --agent "$AGENT"
python3 -m benchmark cli-batch --selection config/selections/current.json \
  --agent "$AGENT" --out "./runs/current-$AGENT"

注意:cli-batch 默认只做预览,不会调用模型;确认无误后加上 --execute 才会消耗你的账号额度。评分材料与答题进程严格隔离,评分通则见 docs/scoring.md,复现细节见 docs/reproduction.md。

小结

baoyan-agent-benchmark 用 21 道择校题考验"推荐准不准"、用 36 道规划题考验"建议有没有用"、用 13 道两阶段题考验"情况变了跟不跟得上"。对新手来说,它是观察保研 AI 能力边界的最佳窗口;对评测者来说,其逐题 rubric + 分层匹配 + 教师校准的评分体系,也值得参考。想动手试试?从上面的三条命令开始就对了。

【免费下载链接】baoyan-agent-benchmark

Sprix AI at 屿智同行 × 保研岛 — an open-source benchmark for AI agents in Baoyan advising and application planning.

项目地址: https://gitcode.com/gh_mirrors/ba/baoyan-agent-benchmark
点击查看 免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值