- 博客(12)
- 收藏
- 关注
RSS订阅原创 使用LLamaFactory进行PPO微调
备注：大部分情况下，奖励模型（reward Model）实际上代码中导入的是训练后的lora，因为奖励模型和要训练的模型（Actor Model）是使用同一个基模型（如Qwen2.5-7B）进行训练的，所以不会出问题，还能节省显存。重点：这里使用的是LLamaFactory 0.6.3，新版数据格式有改正，github的examples中写的很清晰，以官方为准。实际使用时这两个模型是再分别初始化两个模型，累计四个模型，如下图所示。首先PPO需要使用两个模型，一是要训练的模型，二是奖励模型。
2025-04-18 11:23:37
107
原创 史上最全面的《软件工程》笔记—— 期末不挂科就看这一篇
软件工程：软件工程是：（1）将系统化的、规范化、可量化的方法应用于软件的开发、运行和维护，即将工程化方法应用于软件。（2）在（1）中所述方法的研究软件和硬件的区别?1.软件是设计开发的，而不是传统意义上生产制造的。2.软件不会“磨损”3.大多数软件根据实际的顾客需求定制的。为什么软件需要改变和发展?软件必须适应新的计算环境或技术的需要。必须增强软件来实现新的业务需求。软件必须扩展到与其他更现代的系统或数据库进行互操作。必须重新构建软件，使其在网络环境中可行。支持软件工程的根基在
2022-01-18 17:21:56
27824
3
原创 [蓝桥杯2017初赛]分巧克力
题目描述儿童节那天有K位小朋友到小明家做客。小明拿出了珍藏的巧克力招待小朋友们。 小明一共有N块巧克力，其中第i块是Hi xWi的方格组成的长方形。 为了公平起见，小明需要从这 N 块巧克力中切出K块巧克力分给小朋友们。切出的巧克力需要满足：形状是正方形，边长是整数大小相同 例如一块6x5的巧克力可以切出6块2x2的巧克力或者2块3x3的巧克力。 当然小朋友们都希望得到的巧克力尽可能大，你能帮小Hi计算出最大的边长是多少么？输入第一行包含两个整数N和K。(1 <= N, K
2021-11-25 23:13:51
275
原创 codeblock为什么编译变得很慢【解决方法】
遇到的问题原先用codeblock写的代码编译一般十分快，但是重装了win10系统之后就变得异常慢，无论是编译运行还是输入都很卡顿找到源头新装的win10自带Windows安全中心，他会在每次运行的时候对文件进行检查，这就是为什么会卡顿的幕后原因解决方法在Windows安全中心里，将项目目录进行排除即可具体操作步骤首先，打开Windows安全中心找到“病毒和威胁防护”，点击这里的“打开应用”在设置中找到“排除”点击“添加”，将项目目录添加进来即可注意这里添加的是项目目录，不是c
2021-11-25 22:52:06
3459
1
原创 [蓝桥杯2017初赛]包子凑数
题目描述小明几乎每天早晨都会在一家包子铺吃早餐。这家包子铺有N种蒸笼，其中第i种蒸笼恰好能放Ai个包子每种蒸笼都有非常多笼，可以认为是无限笼。每当有顾客想买X个包子，卖包子的大叔就会选出若干笼包子来，使得这若干笼中恰好一共有X个包子。比如一共有3种蒸笼，分别能放3、4和5个包子。当顾客想买11个包子时，大叔就会选2笼3个的再加1笼5个的（也可能选出1笼3个的再加2笼4个的）。当然有时包子大叔无论如何也凑不出顾客想买的数量。比如一共有3种蒸笼，分别能放4、5和6个包子。而顾客想买7个包子时，大叔
2021-11-24 22:13:02
250
原创 [蓝桥杯2017初赛]正则问题
题目描述考虑一种简单的正则表达式：只由 x ( ) | 组成的正则表达式。小明想求出这个正则表达式能接受的最长字符串的长度。例如 ((xx|xxx)x|(x|xx))xx 能接受的最长字符串是： xxxxxx，长度是6输入输入一个由x()|组成的正则表达式。输入长度不超过100，保证合法。输出输出这个正则表达式能接受的最长字符串的长度。样例输入((xx|xxx)x|(x|xx))xx样例输出6分析看到题目，不难看出使用的方法是递归和栈。总体来说只有四种字符，即左括号’(’,右括号’
2021-11-24 13:43:06
384
原创 [蓝桥杯2017初赛]方格分割
[蓝桥杯2017初赛]方格分割题目描述解题思路代码如下题目描述题目描述6x6的方格，沿着格子的边线剪开成两部分。要求这两部分的形状完全相同。如图就是可行的分割法。试计算：包括这3种分法在内，一共有多少种不同的分割方法。注意：旋转对称的属于同一种分割法。解题思路题目不难，重点是要想到，所有的裁剪方法都必然经过中心点，则只需在中心点（3,3）进行DFS即可，最后一点要注意的是，旋转对称的属于同一种解法，中心对称有四种，则只需将最后的答案除以4即可代码如下#include<bits/s
2021-11-23 17:39:05
212
原创 详解——[蓝桥杯2017初赛]跳蚱蜢
[蓝桥杯2017初赛]跳蚱蜢题目描述建模功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入题目描述如图所示： 有9只盘子，排成1个圆圈。其中8只盘子内装着8只蚱蜢，有一个是空盘。我们把这些蚱蜢顺时针编号为 1~8。每只蚱蜢都可
2021-11-23 17:22:18
1182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人