Ask Good Questions for Large Language Models

文章总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在对话系统中存在的主题引导精度不足、难以识别用户相关概念混淆的问题，提出了Ask-Good-Question（AGQ）框架，旨在通过动态评估用户知识水平生成指导性问题，提升信息检索效率。

1. 核心问题

• LLMs虽在理解与推理上能力强大，但在复杂信息检索中，难以精准识别用户的知识缺口，尤其领域新手在定位知识缺陷和构建针对性问题时面临双重困难。
• LLMs在专业领域的知识边界模糊，无法生成有效引导信息检索的问题，缺乏动态评估用户知识状态并结合上下文生成针对性问题的能力。

2. 核心框架：AGQ

• 核心模型：框架以概念增强项目反应理论（CEIRT）模型为核心，扩展传统心理测量方法，将知识评估纳入概念维度。通过多维度向量（用户知识状态θ、题目难度b、题目区分度a）量化用户对不同概念的理解及评估题目的特征。
• 工作流程（如图1所示）：
  1. 处理用户与LLM的交互，接收用户查询并生成响应；
  2. 识别交互中涉及的概念，通过CEIRT模型动态更新θ、b、a参数；
  3. 依据θ判断用户知识水平，若存在低于阈值的概念（θ<ε），筛选适配的“启发文本（Inspiring Text）”；
  <