从零开始用 Python 构建一个 20 亿参数的 LLM

sunxiaoju — Wed, 23 Apr 2025 22:12:05 +0800

让我们快速了解一下 Transformer 架构如何处理和理解文本。它通过将文本分解成更小的单元，称为 token，然后预测序列中下一个 token。一个 Transformer 包含许多层，这些层被称为 Transformer 块，它们堆叠在一起，最终一层用于进行预测。自注意力头（Self-Attention Heads）：它们确定输入中的哪些部分对模型来说最重要。例如，在处理一个句子时，注意力头可以突出显示单词之间的关系，例如代词与它所指代的名词之间的关系。

DeepSeek-llm-7B-Chat微调训练步骤

sunxiaoju — Mon, 10 Mar 2025 14:34:12 +0800

本次教程我想让大模型回复的更亲切点，关于数据集的选择方面，在最开始推理的时候，发现虽然chat模型回答的非常不错，但是有点套路的感觉，如：然后经过训练，回答如下：1、首先下载模型，从魔塔社区下载模型，如地址：https://www.modelscope.cn/models/deepseek-ai/deepseek-llm-7b-chat/files如下图所示：然后将下载的模型加载到ollama中，并运行查看效果，如：具体如何部署到ollama中，请看：将下载的.bin模型转成gguf格式，导入ollama2

sql developer软件在迁移数据库/复制表出现GC overhead limit exceeded报错

sunxiaoju — Fri, 15 Nov 2024 09:23:13 +0800

通过sqldeveloper将MySQL数据库的表复制到Oracle数据库，中途出现GC overhead limit exceeded 位于 (Internal error) No Throwable Stack Element报错信息。因为在sqldeveloper软件使用过程中，超大数据和SQL的操作执行导致使用的java内存超过了sqldeveloper.conf设置内存的分配池上限，所以就会抛出这个异常。通过修改sqldeveloper软件配置文件增大内存参数设置可以解决该问题。

spring boot yml文件中引用*.properties文件中的属性

sunxiaoju — Mon, 21 Oct 2024 08:57:33 +0800

注意：如果不通过@PropertySource来引入文件，那么在application.yml中的jdbc.driver是无法识别的。

Bootstrap Collapse的使用

sunxiaoju — Tue, 17 Oct 2023 17:29:04 +0800

（1）data-parent=“#accordion”：它指定的当前折叠框是在哪个下边，就是类似于分组，是指的在哪个分组下，该分组指定了ID（

jQuery.Step 步骤说明文档

sunxiaoju — Thu, 20 Apr 2023 14:31:33 +0800

【代码】jQuery.Step 步骤说明文档。

js通过正则表达式获取＜a＞标签数组

sunxiaoju — Wed, 30 Nov 2022 14:28:43 +0800

【代码】js通过正则表达式获取标签数组。

Print.js javascript库实现页面打印

sunxiaoju — Thu, 11 Aug 2022 14:49:47 +0800

npm 安装npm安装时将库导入项目首先，我们需要在页面上包含Print.js库和样式下面主要介绍一下我们要用的打印方法printJS();与相同，这将处理任何一系列样式。例如：['border'，'padding']，将包括'border-bottom'，'border-top'，'border-left'，'border-right'，'padding-top'等。你也可以传递['*']来处理所有样式打印pdf时，如果浏览器不兼容（检查浏览器兼容性表），库将在新选项卡中打开pdf。...

jquery datatables当固定列时，去掉固定列下回出现滚动条

sunxiaoju — Fri, 22 Jul 2022 13:22:20 +0800

‘.DTFC_RightBodyLiner’)).css(‘overflow-y’,‘auto’);2、只需要在drawCallback中添加。

jquery datatable固定列

sunxiaoju — Tue, 28 Jun 2022 09:57:15 +0800

只需要在创建DataTable对象的参数中添加如下代码即可：如下图所示：

vue中设置当一个model关闭时将model中的组件销毁方法

sunxiaoju — Tue, 12 Apr 2022 22:29:04 +0800

1、只需要在其中加入：destroyOnClose即可，如下图所示：

spring boot + axios请求参数的书写方式

sunxiaoju — Sat, 02 Apr 2022 22:34:13 +0800

在进行post、get、put、delete方式中，其中get可以使用params或者直接在url/值，而在post、put、delete中可以写data、params或者在url/值的方式进行传输，那么各种传输方式的对应后端写法如下： 1、params方式：前端代码： export function updateCartCount(id,quantity){ return request({ url:'/cart/update/quantity', method:

打印spring中所有的注入的bean

sunxiaoju — Thu, 31 Mar 2022 22:32:47 +0800

1、首先通过自动注入方式将ApplicationContext注入进去，如： 2、然后找个地方打印即可，如：

excel对同一个单元格中的内容去重

sunxiaoju — Fri, 18 Mar 2022 14:37:32 +0800

1、新建一个excel文件。 2、首先调出开发工具，如下图所示： 3、将开发工具打上对钩，如下图所示： 4、此时会多出一个开发工具tab，如下图所示： 5、选择Visual Basic，如下图所示： 6、在弹出的窗口中插入->模块，如下图所示： 7、输入如下代码，其中duplicateRemoval表示函数名称，等会会用到，result + “,” + wItem中的逗号是单元格内以什么符号分割的 Public Function duplicateRemoval(duplicateWords

idea将maven所有依赖包导出

sunxiaoju — Wed, 16 Mar 2022 14:26:52 +0800

1、首先找到maven图标，一般在右侧边上，如： 2、找到execute maven goal图标，如： 3、然后回弹出一个对话框，如： 4、然后输入：dependency:copy-dependencies -DoutputDirectory=D:\lib，回车即可，其中D:\lib就是对应的jar包了如下图所示： ...

oracle substr截取字符串后几位字符

sunxiaoju — Mon, 24 Jan 2022 11:18:58 +0800

1、比如截取后四位： SELECT substr('ABCD1234', greatest(-4, -length('ABCD1234')), 4) FROM DUAL 如下图所示：

springboot+mybatis-plus 自定义分页+条件构造器+xml自定义sql的使用

sunxiaoju — Sat, 15 Jan 2022 19:16:52 +0800

1、在mapper.java中定义一个方法，如： IPage getPageList(Page page, @Param(Constants.WRAPPER) Wrapper queryWrapper); 其中page是分页对象，返回的也必须是IPage类型，queryWrapper为条件构造对象 2、在mapper.xml中定

sql server 和oracle中以字符分割，分割前的串字母转大写，分割后的串字母小写

sunxiaoju — Fri, 24 Dec 2021 13:05:30 +0800

一、oracle数据库串转换前的是：x00.23X0002 执行语句： select upper(substr('x00.23X0002',0,instr('X00.23x0002','.',1,1)))||lower(substr('X00.23x0002',instr('X00.23x0002','.',1,1)+1,lengthb('X00.23x0002'))) substring from dual 串转换后的是：X00.23x0002 如：二、sql server数据库执行语句： SE

oracle使用rank() over来通过一个字段的值排序获取到另一个字段的值

sunxiaoju — Tue, 14 Dec 2021 16:24:20 +0800

1、目前有一个场景，表中有product_id，price，create_date，由于同一个id根据create_date的不同，price也会变化，如： 2、那么通过rank() over如何获得最新时间的price呢，可以使用如下语句： select * from ( select product_id,price,rank() over(partition by product_id order by create_date desc) r from view_cm_dept_receive m)

oracle移动表空间文件未知、修改表空间名、修改表空间的数据文件名

sunxiaoju — Wed, 27 Oct 2021 10:12:16 +0800

注意：在进行此步骤之前要备份好数据库，免得误操作导致数据库无法使用。 1、首先使用如下命令登录oracle用户： sqlplus / as sysdba 2、如果需要修改表空间名称，则使用如下命令，其中TB_MONITOR为原表空间名，TB_MONITOR1为新的表空间名，如果不需要修改表空间名则跳过此步骤： alter tablespace TB_MONITOR rename to TB_MONITOR1; 3、将表空间离线，使用如下命令： alter tablespace TB_MONITOR o

sxj的专栏