Predicting Learning Performance with Large Language Models: A Study in Adult Literacy

本文是LLM系列文章,针对《Predicting Learning Performance with Large Language Models: A Study in Adult Literacy》的翻译。

用大型语言模型预测学习成绩——成人识字率研究

摘要

智能辅导系统显著加强了成人识字培训,这是社会参与、就业机会和终身学习的关键因素。我们的研究调查了高级人工智能模型的应用,包括GPT-4等大型语言模型,用于预测ITS成人识字项目的学习成绩。这项研究的动机是LLM基于其固有的推理和计算能力预测学习性能的潜力。通过使用ITS、AutoTutor的阅读理解数据集,我们通过五倍交叉验证技术评估了GPT-4与传统机器学习方法在预测学习性能方面的预测能力。我们的研究结果表明,GPT-4与传统的机器学习方法(如贝叶斯知识跟踪、性能因子分析、稀疏因子分析精简版(SPARFALite)、张量因子分解和极限梯度提升(XGBoost))相比,具有竞争性的预测能力。虽然XGBoost(在本地机器上训练)在预测准确性方面优于GPT-4,但GPT-4选择的XGBoost及其在GPT-4平台上的后续调整显示出与本地机器执行相比的卓越性能。此外,我们使用XGBoost作为案例研究,对GPT-4与网格搜索的超参数调整进行的研究表明,尽管自动化方法的稳定性较差,但性能相当。我们的研究通过强调将LLM与传统机器学习模型相结合的潜力来提高预测准确性和个性化成人识字教育,为未来在ITS中应用LLM的研究奠定了基础,从而为该领域做出了贡献。

1 引言

2 相关工作

3 方法

<

### 使用深度学习结合文本和网络嵌入预测专利申请结果 为了实现这一目标,可以采用卷积神经网络(CNNs),这是第四门课程《Deep Learning Specialization》中的主题之一[^1]。具体来说,在处理文本数据时,通常会先将文本转换成词向量表示形式,即所谓的“文本嵌入”。对于专利文档而言,这些文本可能包括发明描述、权利要求书等内容。 在网络结构方面,除了传统的全连接层外,还可以引入图神经网络(Graph Neural Networks, GNN)。GNN特别适合用于捕捉不同实体之间的关系信息,比如申请人与其他机构间的合作关系或是技术领域内的引用关系等。通过构建这样的网络模型,能够更全面地理解每项专利所处的社会和技术环境。 最后一步则是训练一个分类器来预测最终审批状态。此过程涉及定义损失函数并调整参数直至达到满意的性能指标为止。值得注意的是,由于实际应用场景中可能存在类别不平衡等问题,因此建议采取适当措施加以应对,如过采样少数类样本或应用代价敏感的学习方法。 ```python import torch from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def encode_text(text): inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs)[0][:, 0, :] return outputs.detach().numpy() text_embeddings = [encode_text(patent['description']) for patent in patents] # 假设network_embedding是一个预计算好的节点特征矩阵 combined_features = np.hstack((np.array(text_embeddings), network_embedding)) X_train, X_test, y_train, y_test = train_test_split(combined_features, labels) classifier = RandomForestClassifier() classifier.fit(X_train, y_train) predictions = classifier.predict(X_test) print(f'Accuracy: {accuracy_score(y_test, predictions)}') ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值