- 博客(4)
- 收藏
- 关注
转载 论文解读:Locating and Editing Factual Associations in GPT(ROME)
与KN的对比:1、KN通过集成梯度仅仅定位激活的一个元素,并修改FFN第二层权重对应的一个向量,并且直接通过翻倍或者置零实现,是一种很粗糙的编辑。2、ROME的定位比KN往上一个层级,用因果干预方法定位整个激活向量,然后修改FFN第二层的整个权重来实现编辑。简单来说就是把要编辑的事实对应于该权重的输入输出,加入模型原始训练数据对应于该权重的输入输出列表中,让这个权重重新适应这个列表。本文定位方法更有理论依据,编辑对其它知识的影响也可以从优化角度来量化。原创作者: qizhou。
2025-07-10 15:42:56
84
转载 从零到一:利用金仓社区数据,LoRa微调与Spring AI 构建私有化千问模型
智能体(AI)技术已经广泛应用并逐渐深入人们的日常生活,大家对它有了较为全面的了解。然而,当前大规模语言模型的微调技术尚未真正普及,其原因主要在于高门槛的问题。首先,微调大模型不仅需要强大的计算资源,像高性能的服务器、GPU等硬件设备,而且还需要解决诸如各种复杂的参数设置等技术难题,这使得很多企业和个人难以承受。此外,真正从零开始训练一个大模型,所需的资源和成本也是常规公司难以负担的,因此目前广泛采用的策略是基于已有的预训练模型进行再训练(fine-tuning)。
2025-06-05 12:45:21
61
转载 Jenkins集成Nexus
1 Nexus安装配置1.1 Nexus介绍Nexus 是 Sonatype 公司发布的一款仓库(Repository)管理软件,常用来搭建 Maven 私仓,所以也有人将 Nexus 称为“Maven仓库管理器”。Maven 私仓其实并不是 Maven 的核心概念,它仅仅是一种衍生出来的特殊的仓库,但这并不代表它不重要,...
2024-07-25 05:12:53
565
转载 Docker守护程序的主机地址和端口
代码示例,Docker相关视频讲解:数组-Go代码演示什么是容器Docker介绍实现Docker守护程序的主机地址和端口作为一名经验丰富的开发者,你需要教会一位刚入行的小白如何实现Docker守护程序的主机地址和端口。以下是整个过程以及每个步骤需要做的事情和代码示例。流程图#render_9_420451557...
2024-07-07 03:30:48
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅