
大语言模型微调时易出现‘灾难性遗忘’问题,麻省理工学院等机构研究人员推出自蒸馏微调(SDFT)新技术,旨在解决这一问题,但也面临一些挑战。
‘遗忘症’困扰模型微调
大语言模型在为新任务微调时,常丧失之前习得技能,即‘灾难性遗忘’。许多组织将新任务隔离到单独模型或适配器,但会增加成本和管理复杂度,还需不断重新测试。
SDFT技术登场
自蒸馏微调(SDFT)新技术应运而生。它利用上下文学习,让模型在学习新任务时保留先前能力。实验显示,它能让模型积累新技能且不降低性能,优于监督微调(SFT)。
解决持续学习难题
多数企业人工智能系统部署后不变,新微调易致灾难性遗忘。强化学习虽能减少遗忘,但需明确奖励函数。SDFT不依赖奖励函数,利用上下文学习生成学习信号。
面临挑战待克服
尽管SDFT有优势,但面临训练时间长、计算能力需求大等问题,还依赖强大基础模型。此外,它不能消除回归测试需求,操作复杂性转移到管理深度上。
应用前景待观察
分析师认为,SDFT避免了强化学习的一些问题,但应用到企业还需时间。它可能先在内部开发工具和通用助理中试验,而非受监管领域。
编辑观点:SDFT技术为解决模型‘遗忘症’带来希望,但挑战也不容忽视。未来能否广泛应用,关键在于能否克服现有难题,提升其在企业中的实用性。
432



被折叠的 条评论
为什么被折叠?



