- 博客(18)
- 收藏
- 关注
原创 Crab: A Novel Conffgurable Role-Playing LLM with Assessing Benchmark
尽管大语言模型在许多技术领域中展现出了强大的能力,但它们仍难以满足人类的一些基本需求,例如爱、接纳和归属感。为了解决这一问题,角色扮演大语言模型被提出,用于准确复现特定角色的知识,模仿其语言风格和行为模式,并体现其独特个性。Persona Chat 是较早的一项尝试,它基于年龄、性别、爱好等表层个人属性来生成回复。HPD用哈利波特数据来训练,包含关系、剧情等更复杂信息,但主要还是固定角色。Character-LLMs 进一步加入角色档案、经历、情绪,但仍然存在可扩展性不足的问题。
2026-06-18 18:38:31
411
原创 COSER: Coordinating LLM-Based Persona Simulation of Established Roles
角色扮演语言智能体已经被用于模拟各种类型的人设,包括人口统计学意义上的群体人物、虚构角色以及日常个体。这类技术也催生了许多应用,例如角色聊天机器人、电子游戏中的智能体,以及人类的数字分身等。本文研究的是面向既定角色的角色扮演语言智能体。相比于简单地描绘个体特征或刻板印象,这是一项更加重要且更具挑战性的任务。具体而言,角色扮演语言智能体需要忠实地对齐角色复杂的背景,并捕捉其细腻的人格特征。为了构建有效的角色扮演语言智能体,目前仍然存在两个主要挑战:第一,数据问题。高质量数据集仍然不足。
2026-06-03 22:06:23
492
原创 ENHANCING PERSONA FOLLOWING AT DECODINGTIME VIA DYNAMIC IMPORTANCE ESTIMATION FORROLE-PLAYING AGENTS
关于人格动态的心理学研究,包括,已经表明:人的行为并不是由固定人格静态决定的,而是由特定场景下被激活的人格属性所产生的。与此类似,大语言模型也应该能够在不同上下文场景中,动态识别哪些人设属性与当前场景相关,并在生成时遵循预先定义的人设档案。作者将这种能力称为,即“人设遵循能力”。和。包括直接提示、上下文学习,以及检索增强生成(RAG)这类方法的核心机制依赖于模型对 prompt 文本的语义识别,模型往往无法真正深入理解输入中包含的人设属性。因此,它们不能根据具体场景动态调整行为模式或偏好表达。
2026-05-12 16:15:51
429
原创 Towards Transferable Personality Representation Learning based onTriplet Comparisons and Its Applic
人格是心理学中的一个关键概念,它强调个体在思想、情感和行为方面的差异。随着自然语言处理技术的发展,自动人格识别受到了广泛关注。因为其在心理健康评估、角色扮演以及个性化推荐系统等方面具有广泛应用。为了在AI模型中表达人格,当前方法主要采用传统的监督学习范式。研究者会收集“语料-人格”数据集来训练预测模型。其中每个样本由多条句子组成,并被组织为一个“文本包(bag)”。人格标签以离散形式由人工进行标注。这些问题的本质在于:数据结构和学习方法都停留在“文本包级别”。
2026-04-21 16:29:44
407
原创 Exploring Persona Sentiment Sensitivity in Personalized Dialogue Generation
在这项工作中,作者证明了在生成个性化对话时,LLMs 对人设的情感极性(sentimental polarity)极其敏感。虽然正向极性的用户会产生流畅的互动,但负向极性的用户会过度强调人设属性,并导致较低的连贯性甚至一致性。此外,作者发现带有微弱或中性情感的人设通常也会产生质量较低的对话。这些发现表明,如果用户画像中包含负向、甚至中性的人设,对话的质量就会下降。
2026-03-20 17:28:04
744
2
原创 EvolveBench: A Comprehensive Benchmark for Assessing TemporalAwareness in LLMs on Evolving Knowledg
大型语言模型(LLMs)通常在涵盖多个历史时期的大规模语料上进行训练,但它们在以及方面仍然存在明显局限。以往研究往往忽略一个关键问题——LLMs能否准确掌握时间概念,并有效利用不同时代的知识。为弥补这一不足,本文提出了一个新的综合评测基准——在 EvolveBench 上对 15 个常用 LLMs 的评估显示,GPT-4o 获得了最高的平均 EM(精确匹配)分数 79.36,而开源模型 Llama3.1-70B 在处理时间错配背景方面表现出显著优势,平均得分为 72.47。
2026-03-01 02:19:45
684
1
原创 InspireDebate: Multi-Dimensional Subjective-Objective Evaluation-GuidedReasoning and Optimization f
随着大语言模型(LLMs)的快速发展,与辩论相关的任务——例如论点质量评估和辩论过程模拟——已经取得了显著进展。然而,现有辩论评估方法主要集中在对单个论点进行评估(Deshpande 等,2024),并且严重依赖主观性评价,缺乏对整个辩论过程进行全面评估的能力为了解决这些相互关联的挑战,我们提出了一个由两个核心组成部分构成的框架:(1):一种新的评估体系,构建了一个多维度的评估架构,包括四个主观指标(情感吸引力、论证清晰度、论证结构安排、主题相关性)以及两个客观指标(事实真实性和逻辑有效性);
2025-11-22 01:22:49
1225
原创 SimClass: Multi-Agent Classroom Simulation with Large Language Models
大语言模型(LLMs)已经在教育领域中被广泛用于各种智能教学任务,例如自动评分、问答系统、教学助理等。这些都是“任务特定(task-specific)”的应用,即每个模型通常完成一个单一的教学任务。目前仍缺乏一种多智能体(multi-agent)协作框架,能够在真实用户参与的虚拟课堂环境中模拟教师与学生的互动。模拟性能:多智能体课堂能否逼真地模拟师生实时互动?学习体验:学生是否能在其中获得真实的“临场感”与有效学习?群体行为观察:在多智能体场景中可能自发出现哪些行为?作者提出了解决方案 ——
2025-11-06 20:16:28
1257
原创 BEYOND DIALOGUE: A Profile-Dialogue Alignment Framework TowardsGeneral Role-Playing Language Model
1.角色设定与对话不匹配(Profile-Diaglogue Bias)如果对话语料与角色预设档案(profile)不一致,会在训练中引入偏差,使模型难以按照角色档案行为。2.缺乏精细对齐(Fine-Grained Alignment)单一的对话训练任务无法将对话与角色特质进行细粒度对齐。训练过程无法捕捉角色特质在具体语句中的体现,限制了模型理解和表达角色复杂特质的能力。
2025-10-25 14:27:07
1244
原创 Beyond Profile: From Surface-Level Facts toDeep Persona Simulation in LLMs
现有的角色模拟方法通常仅依赖于表面的传记信息或有限的对话数据,无法捕捉角色的深层次思想、世界观和伦理框架现有工作主要包括基于提示的方法和基于微调的方法。基于提示的方法通过直接将角色设置集成到提示中来模拟角色,但这些方法往往无法捕捉复杂的特征和动态行为。基于微调的方法通过训练预训练的LLMs来模拟角色,但这些方法通常仅模仿表面的风格,而忽略了深层次的特征。本文开发CharacterBot,以鲁迅作为示例,来模拟他的人物特征实施四个不同的任务。
2025-10-11 20:56:56
999
1
原创 SDPO:Segment-Level Direct Preference Optimization for Social Agents
为了引入更长的偏好信号,学者相继提出了ETO和DMPO,在文中我们称之为session-level DPO,二者核心都是将DPO的单轮偏好提升到整个任务粒度,将完整的任务轨迹作为偏好数据。2.正向信号弱:从头采样给予了模型过大的行为空间,这种过大的空间导致正例的信号很不明确。另外,部分正例结果较好可能是环境不同的反馈导致的,这些导致模型可能很难得到明确的正例信号。在本文中,我们在之前工作的基础上,进一步简化并完善了多轮直接偏好对齐的理论推导过程,并提出了可以适应不同轮次的多轮对齐。
2025-09-20 15:22:41
843
1
原创 Word2Vec——斯坦福CS224N(NLP)作业2下
比如:一个训练步骤中负样本是 [“cat”,“dog”,“cat”,“bird”,“cat”][“cat”, “dog”, “cat”, “bird”, “cat”][“cat”,“dog”,“cat”,“bird”,“cat”],你可以看到“cat”出现了 3 次。naive-softmax 损失对每个 outside 词向量的梯度,是模型预测概率和真实标签差值乘以中心词向量 (误差*输入)朴素采样需要对整个词表做 softmax,负采样只对正样本和有限数目的负样本计算sigmoid。
2025-07-02 18:22:10
1549
原创 Word2Vec——斯坦福CS224N(NLP)作业2
假设我们有句子:如果我们设定 context window size = 2(窗口大小 = 左右各 2 个词),那么:当中心词是:“system”则它的上下文词就是它左右各两个词:我们就得到了 4 个训练样本,每个样本都是一个中心词 + 一个上下文词:这样每一对 (c,o)(c,o)(c,o)就是一个训练样本为什么要有两个向量?我们从一个训练样本开始:然后我们用 Softmax 模型来预测 “在中心词 的上下文中,词 出现的概率”:y^w=P(w∣c)=euw⊤vc∑w′∈Vocabeuw′⊤vc\h
2025-06-29 20:52:36
1311
原创 Out of One, Many Using Language Models to Simulate Human Samples
文章的中心主张:“用语言模型代替人类样本”。观点转向——偏见是“多重关联的体现”,而非单一失真。关键现象——一个模型内存在多个“可调用”偏见分布核心概念——算法拟真度。
2025-06-24 11:52:19
868
原创 Transformer
对序列中每个位置的元素应用相同的线性变换和非线性激活函数,但不会改变这些元素之间的顺序或相对位置,用来完成输入数据到输出数据的维度变换。相关性不只有一种定义,可以从多个方面相关,所以可以有多个。由若干编码器层(通常是 6 层或更多)堆叠而成。FFN实际上就是MLP,包括。,希望抽取不同的信息。
2025-06-10 17:14:50
824
2
原创 自注意力机制
q、k、v不是轮流学的,而是将a1a2a3看做一个矩阵,乘上权重得到。再乘value得到一串糅合了所有输入的b。从而从一整个sequence得到b1。再得到注意力分数和注意力权重矩阵。同理,得到b2、b3、b4···同理得到b2、b3…
2025-06-10 15:44:12
381
原创 注意力分数
Additive Attention 的核心思想是通过一个前馈神经网络来计算查询和键之间的匹配分数(计算查询(Query)、键(Key)和值(Value)之间的相似度)相比 Additive Attention,Scaled Dot-Product Attention 计算效率更高,适用于大规模序列处理任务。通过计算查询(Query)、键(Key)和值(Value)之间的点积来生成注意力权重,并使用这些权重对值进行加权求和。然后使用这些分数作为注意力权重来对值进行加权求和。
2025-06-10 15:19:51
287
原创 注意力机制(自用学习笔记)
初始化self.w是一个可学习的参数,形状为(1,),用于控制核函数的带宽。前向传播queries是查询数据,形状为。keys是键数据,形状为。values是值数据,形状为。重复查询数据将每个查询重复num_keys次,并重新调整形状,使其与keys的形状一致。计算注意力权重计算的是高斯核函数的负值。将这些值转换为概率分布,即注意力权重。加权求和计算的是注意力权重与值数据的加权求和。将结果的形状从调整为。
2025-06-10 14:49:53
505
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅