Towards a Psychology of Machines: Large Language Models Predict Human Memory

研究发现,ChatGPT在基于语言的记忆任务中能预测人类表现,其对句子相关性和可记忆性的评估与人类一致性高。尽管内部机制不同,ChatGPT被认为的相关和难忘的句子更易被人类记住,暗示了AI模型预测人类认知的潜力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Towards a Psychology of Machines: Large Language Models Predict Human Memory》的翻译。

走向机器心理学:大型语言模型预测人类记忆

摘要

尽管缺乏人类认知的基础,但大型语言模型(LLM)在各种任务中都表现出了非凡的能力。这就提出了一个问题:除了简单地模仿人类语言模式之外,这些模型还能深入了解人类认知的机制吗?这项研究探讨了ChatGPT在基于语言的记忆任务中预测人类表现的能力。在文本理解理论的基础上,我们假设通过在歧义句之前加上与上下文相关的信息,可以帮助识别歧义句(例如,“因为比尔喝酒从来没有放在家里”)。参与者,包括人类和ChatGPT,被呈现成对的句子。第二句总是一个花园小路句子,被设计成天生模棱两可,而第一句要么提供了一个合适的语境(例如,“比尔患有慢性酒精中毒”),要么提供了不合适的上下文(例如,”比尔喜欢打高尔夫球“)。我们测量了人类和ChatGPT对句子相关性的评分,ChatGPT对于花园小路句子的可记忆性评分,以及人类对于花园小路语句的自发记忆。研究结果显示,ChatGPT的评估与人类表现之间有着惊人的一致性。尽管ChatGPT的内部机制可能与人类的认知存在显著差异,但被ChatGPT认为更相关、更令人难忘的句子确实更容易

### DeepSeekMoE 实现极致专家专业化 在 Mixture-of-Experts (MoE) 语言模型中,DeepSeekMoE 致力于实现专家的极致专业化。为了达到这一目标,该研究引入了一种新颖的方法来处理专家之间的知识共享和隔离问题。 #### 共享专家隔离机制 分配给不同专家的 token 可能需要一些共同的知识,这可能导致多个专家在其参数中收敛于相同的共享知识,进而造成专家参数的冗余[^2]。为了避免这种冗余并提高参数效率,DeepSeekMoE 设计了一个特殊的共享专家子集。这些共享专家始终处于激活状态,负责捕捉和整合跨上下文的通用知识。因此,其他路由专家可以专注于更特定的任务,减少了重复学习的可能性,提升了整体模型性能和资源利用效率。 #### 极致专家专业化策略 除了上述提到的共享专家外,DeepSeekMoE 还采用了多种技术手段促进各领域内专家的专业化程度: - **动态调整门控网络**:通过优化门控函数的设计,使得每个输入样本能够被最合适的少数几个专家处理,而不是平均分布到所有可用专家上; - **自适应训练方案**:根据不同阶段的学习需求灵活改变损失权重以及正则项强度等因素; - **多任务联合训练框架**:鼓励各个专精方向上的专家不仅要在单一目标任务上有出色表现,在辅助任务方面也需具备一定能力,以此增强泛化性和鲁棒性。 ```python def dynamic_gating_network(input_tensor, expert_weights): """ 动态调整门控网络示例 参数: input_tensor: 输入张量 expert_weights: 各位专家对应的权值向量 返回: selected_experts_indices: 被选中的几位专家索引列表 """ scores = tf.matmul(input_tensor, expert_weights) top_k_values, top_k_indices = tf.nn.top_k(scores, k=3) return top_k_indices.numpy().tolist() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值