Towards Mitigating ChatGPT’s Negative Impact on Education: Optimizing Question Design through Bloom’

题目

减轻 ChatGPT 对教育的负面影响：通过布鲁姆分类法优化问题设计

论文地址:https://ieeexplore.ieee.org/document/10223662

摘要

    生成文本 AI 工具在回答问题方面的流行引发了人们对其可能对学生学业成绩产生负面影响以及教育工作者在评估学生学习方面面临的挑战的担忧。为了解决这些问题，本文介绍了一种进化方法，旨在确定最佳的布鲁姆分类关键词集，以生成这些工具对回答信心较低的问题。通过一个案例研究评估了这种方法的有效性，该案例研究使用了澳大利亚堪培拉新南威尔士大学教授的数据结构和表示课程中的问题。结果表明，优化算法能够从不同的认知水平找到关键词来创建 ChatGPT 对回答信心较低的问题。这项研究向前迈出了一步，为寻求创造更有效的问题以促进学生批判性思维的教育工作者提供了宝贵的见解。

索引词——进化计算、遗传算法、生成文本 AI 工具、ChatGPT、布鲁姆分类法

引言

    生成文本人工智能 (AI) 工具（例如 ChatGPT）在回答问题和生成内容方面越来越受欢迎。这些工具使用深度学习算法，可以通过从大量文本数据中学习来生成类似人类的问题答案。它们在回答编程问题方面也表现出色，使其成为寻求快速答案的学生的理想资源。然而，人们担心这些工具对学生学习的潜在负面影响以及教育工作者在评估学生的理解和知识方面面临的挑战。过度依赖 AI 工具进行评估会导致学生发展出较差的批判性思维技能，并且无法将所学知识应用到其他环境中。此外，当广泛使用 AI 工具时，教育工作者可能很难评估学生的表现。因此，开发有效的方法来帮助衡量学生的知识和技能，同时减少他们在评估过程中对此类人工智能工具的依赖至关重要。

    根据文献，布鲁姆分类法是一个被广泛接受的制定教育目标和评估学习成果的框架。该框架将认知技能分为六个级别，包括记忆、理解、应用、分析、评估和创造。在设计有效的评估工具时使用布鲁姆分类法可以帮助衡量学生理解和知识的深度。据作者所知，目前还没有研究优化最佳的布鲁姆分类法关键词，以帮助减少对人工智能工具的依赖。为了应对上述挑战，本文提出了一种进化方法来优化布鲁姆分类法关键词选择，以生成生成文本人工智能工具对回答信心较低的问题。这种方法有望鼓励学生批判性地思考，更深入地参与材料，最终改善他们的学习体验。在本文中，遗传算法 (GA) 用于进化一组染色体（解决方案），每个染色体代表多个布鲁姆分类法关键词。

    这些关键词用于使用生成文本 AI 工具生成感兴趣的问题的新版本。然后，生成文本 AI 工具在回答新问题时的置信度代表解决方案的质量。该算法通过选择、交叉和变异过程进行迭代，以在固定的代数内进化解决方案。进化过程继续最小化这种置信度值。 该算法在澳大利亚新南威尔士大学堪培拉分校教授的数据结构和表示 (DSR) 课程中的一些问题上进行了评估。结果表明，所提出的方法能够识别一组可用于生成问题的关键词，从而将 ChatGPT 回答这些问题的置信度从平均 95% 降低到 45%，甚至生成答案置信度为 0% 的问题。这种信心的降低预计会导致评估不太容易受到人工智能生成的答案的影响，最终导致更好地评估学生的理解和知识。

    需要强调的是，蛮力方法（尝试布鲁姆分类法关键词的所有组合）效率不高，因为生成文本人工智能工具可以以多种不同的方式重构问题&