- 博客(34)
- 收藏
- 关注
RSS订阅原创 魔塔社区使用llamafactory微调AI阅卷试题系统
文本生成质量： BLEU 和 ROUGE 分数都不算高，说明模型的生成结果和参考答案差距较大，可能需要调整训练数据或改进模型结构。推理性能： 运行时间较长，处理速度较慢，可能与模型大小、计算资源或者 batch size 有关。
2025-04-02 16:05:27
1117
1
原创 解决auto_gptq安装问题
llamafactory任然可能会报错环境问题，重启llamafactory可能可以解决问题。在操作量化操作的时候显示需要安装auto_gptq。本地环境：autodl-ai租的服务器。安装了llamafactory，
2025-03-31 12:06:39
253
原创 什么是模型量化
模型的量化（Quantization）是一种优化技术，主要用于减少深度学习模型的计算复杂度和存储需求。它的核心思想是将模型中的高精度浮点数（通常是 32 位或 16 位）转换为低精度整数（如 8 位或 4 位），以降低计算成本，同时尽可能保持模型的性能。
2025-03-31 11:00:27
245
原创 Kafka架构概述
顺序写入磁盘，减少磁盘寻址时间。零拷贝（Zero-Copy），减少 CPU 和内存拷贝开销。批量处理，减少 IO 操作，提高吞吐量。分区机制，支持高并发读写，提高吞吐能力。日志结构（Append-Only Log），减少索引和更新开销。异步生产者，减少发送延迟。分布式架构，支持集群扩展，提升可用性和吞吐量。数据压缩，减少网络开销。消费者组并行消费，充分利用计算资源。
2025-03-20 11:01:52
545
原创 Redis 数据结构类型及使用场景深度解析：HyperLogLog、Geospatial、Streams 和 Bitmaps
Redis 提供了多种数据结构，每种数据结构都适用于不同的业务需求。以下是 Redis 支持的常见数据结构及其简要说明：String：简单的字符串类型，适合存储标量数据。List：列表类型，适用于存储有序的数据。Set：集合类型，适用于存储无序的数据。Sorted Set (ZSET)：有序集合，适用于存储有序的唯一元素，并按 score 排序。Hash：哈希类型，适用于存储键值对。Bitmaps：用于处理大量的布尔值。HyperLogLog：用于统计基数（不重复的元素数量）。
2025-03-14 10:54:25
858
原创 华为od机试自测
网上只能收到相关题目，没有地方可以验证是否ac，最近发现一个网站可以测试自己的算法是否ac。这是相关博客和网站地址，大家有兴趣可以了解下。
2023-08-19 14:45:28
122
原创 记一次TIDB sql OOM
如果直接用一个for循环去分批请求数据库的话，那么io成本太高了，请求一次100ms，10次就是1s了，接口响应时间太长，需要优化。尽管解决了oom的问题，但是数据库的压力还在，使用redis减轻数据库的压力。)，这里的id可能会有很多，可能有好几百，因此想到优化方式，分批查询。通过将id分为n等分，然后再去数据库中查询，再将查询结果合并，以达到同样的效果。一个请求的返回内容也不少，如果缓存太多的话会造成服务器资源消耗过多，不能直接存入服务器。请求参数一般都不短，直接使用字符串的话，数据太大，不合适；
2023-05-05 15:40:59
256
原创 记sanic的Linux环境迁移到windows过程
根据报错定位到绑定蓝图的地方，发现我们一般name是默认的，sanic的默认name格式为：package.func_name，绑定的时候显式指明即可：name=package.file_name.func_name。在Linux的时候我发现它只会跑一次，然后再windows上面他会跑两次，并且跑两次没有任何报错，但是就是无法访问（可能是另外一个问题，下文会提到，但是作者当时没有意识到）最新版本的sanic多了一个主进程和子进程的关系，贼恶心，还记得我之前是直接卸载重装的sanic么，版本不一致了。
2023-04-25 15:05:07
287
原创 django中间件的简单理解
中间件中间件，是介于request和response之间的一道处理程序，比较轻量级，可以在全局范围改变django的输入与输出，由于它的影响是全局的，写的不好有可能会影响性能。在请求到来之前和请求处理完成之后，都需要经过中间件的处理，我们可以自定义一些中间件来做一些额外的处理，例如：记录日志、黑白名单限制、恶意访问用户拦截等、登录认证，没有登录过的玩家都转向login路径等。使用创建一个自定义类：继承自django.utils.dprecation 的MiddlewareMixin在类中定
2022-04-23 22:29:16
613
原创 剑指offer算法
题目转载自：https://leetcode-cn.com/problems/yong-liang-ge-zhan-shi-xian-dui-lie-lcof1. 用两个栈实现队列用两个栈实现一个队列。队列的声明如下，请实现它的两个函数 appendTail 和 deleteHead ，分别完成在队列尾部插入整数和在队列头部删除整数的功能。(若队列中没有元素，deleteHead 操作返回 -1 )思路：一个栈专门入stackin，一个栈专门出stackout，stackout为空时，就去stac
2022-03-06 20:24:31
168
原创 go语言中的导包
go语言如何导包？参考链接李文周的博客在go语言中，一个包可以理解为存放.go文件的一个文件夹。go文件的第一行package声明了这个go问价属于那个包。注意：同一个文件夹之下只能有同一个包的go文件。测试：我想在fridge/main.go中导入util/util.go，只需要输入以下代码即可, 注意，导包路径不需要写绝对路径，写go/src目录下得相对路径即可，所以我这里导入的是dzh.com/PXZ/utilpackage mainimport ( "dzh.com/PXZ/ut
2022-03-06 20:07:39
1718
原创 GOBIN must be an absolute path 报错解决办法
教训：无脑COPY总有一天会出大问题在使用go get 命令的时候碰到了这个问题，一直无法安装成功使用go env 查看环境变量GOBIN到底是多少很明显看到这个路径是相对路径，并且不知道是copy了谁的路径使用go env -w GOBIN=C:\Users\pxz\go\bin ，重新设置GOBIN环境变量即可成功安装...
2022-03-05 20:36:06
1878
1
原创 go语言中的正则表达式
关于正则表达式的基础语法，这里就不赘述了go中使用以字符串text := " <a href="/test/2021-03-17/5436.html" target=########### ">"为例，我们需要提取字符串中href指向的地址text := " <a href=\"/test/2021-03-17/5436.html\" target=########### \">"// 生成正则对象，类似Python中的re.compile// 特别说明,正则中的()是分
2022-02-21 21:55:42
329
原创 Python正则
正则表达式优点：方便可能不熟练用起来有些难用，但是熟练之后会比较简单比如字符串：例如：def TestRe(sTest): # 这种方式能够很轻松地拿到2022/02/02这个值，至于re的group划分规则之后补充 sPattern = "(\d+):([0-9:/-]+)" oPattern = re.compile(sPattern) res = re.match(oPattern, sTest) print(res) print(re
2022-02-17 21:57:39
191
原创 关于二进制
一个字节代表8位符号位符号位是最左边的一位0代表正数1代表负数补码补码与原数的和为0（以前一直不知道补码是啥）补码是原数取反再加一例如：数字0000 0001的补码是 1111 1111两数相加结果也为0位移逻辑左移/右移：单纯位移。算数左移/右移：考虑符号位。算数右移有点特殊：高位补符号位，而不是无脑补1例如：1000 1010 右移1位 ——> 1100 0101（自行验证，其结果是原数/2）符号位扩充以8位为例，要将其扩充到16位，该如何扩充。答：往高位填
2022-02-14 21:40:08
141
原创 关于redis主从复制
主从复制主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)；数据的复制是单向的，只能由主节点到从节点。主从复制分为三个阶段从节点连接，请求全量复制，主节点执行bgsave指令生成当前数据的rdb快照，将数据发送给从节点，并且建立一个缓冲区，这个缓冲区中记录从当前时间开始的所有写命令从节点清除自己原有的数据，接收rdb并且装载，将数据库同步到主节点执行bgsave的状态主节点将上面提到的缓冲区的指令发
2022-02-13 21:52:59
521
原创 远程调用~
远程调用顾名思义，就是一个机器上的程序去调用另外一台机器上的程序。通过网络将可序列化的数据传送给远程服务器，服务器接收后，再反序列化，将数据恢复为内存对象，然后调用函数，函数产生的结果也会通过协议传回给调用方。框架rpcgrpc...
2022-01-20 21:31:38
613
原创 最小生成树之prim算法（go语言实现）
定义在一个无向有权图中，能遍历完所有的节点并且花费的代价最小，这样就构成了一颗最小生成树prim算法简介：通过贪心算法，整个图中只存在一颗最小生成树，每次遍历的时候，将树外面的代价最小的一个节点添加进来借鉴了景明先生的图：它的描述更详细些链接：图解：什么是最小生成树伪代码（待完善）go语言代码：统计最小生成树的和最好以后再来完善，使用对象生成一颗真正的生成树package mainimport "fmt"// 图：// 解释：(0, 1) 位置上的3 表示从v0到v3的权重为3
2021-12-26 15:06:04
417
原创 py代码覆盖覆盖率工具
官方文档需求程序需要知晓提交代码的测试情况，未测试到的内容可以及时通知策划测试结合svn/git的改动来决定include范围（真正的项目中不能测试所有的代码）svn直接调用svn指令：svn log -v https://svnXXXXX获取远程svn库代码提交信息，将有所改动的模块添加到include中使用Python三方库：pysvnclient模块中有个log类方法，应该可以获得，这里我没做研究pysvn官方文档...
2021-12-15 21:15:03
477
原创 GO语言学习之路
第一个GO程序首先安装Go语言，配置环境变量等编辑器：推荐使用VSCODE（免费），避免使用破解版软件目录结构bin：编译后的二进制文件pkg：编译后的库文件src：源码文件–网站域名---------作者/机构-------------------项目1--------------------------------模块.转自b站李文周老师视频go语言系列视频如图新建目录，main.go作为程序入口内容如下：package mainimport "fmt"func
2021-12-14 21:53:01
734
原创 工作心得~
希望大伙在写完代码后，提交前都质问自己一遍，是否做到了以下几点确保你写的代码每一行都被测试过列举你更改代码会发生的影响，并且证明这些影响都没问题当你你更改/重写别人的代码的时候，确认每行代码，每个数据结构你都看懂了犯错1：改别人的代码，需求是：记录的最新五条记录。看到别人的代码：for oRecord in lstRecord[:5]: ... pass# 一看，好家伙，你这铁定错了啊，心想：还好被我看到了，我真厉害# 马上把代码改成for oRecord in lstRecor
2021-12-09 21:34:58
79
原创 代码设计~
类间关系类之间的关系按照耦合度从低到高：依赖：是一种使用的关系，例如人要打电话，电话对象作为参数传入，是一种耦合度最低的关系。关联：俩物品有关联，具体分为组合和聚合组合：是一种has-a的关系，被包含的物品能够单独存在，例如商店-商品聚合：是一种contain-a的关系，被包含的物品不能单独存在，例如，人-嘴巴。泛化（和实现的耦合度一样高）：是一种继承关系，耦合度很高。例如人和学生实现：是一种继承关系，例如交通工具的运动功能由车子和飞机实现...
2021-11-30 22:23:09
195
原创 python调试
初级1. print 大法print调试2. log的debug级别调试之后出一篇python的log使用文章进阶1. 使用pysnoop调试工具之后更新2. __setattr__方法在更改某个实例的属性的时候，会调用__setattr__方法，通过__setattr__我们可以追踪某个属性的更改，查看属性在什么时候被更改了测试代码如下，类被初始化的时候调用一次__setattr__，更改的时候调用一次，总共两次class CTestA(object): def __ini
2021-11-23 21:51:08
783
原创 flask
这里再我的再ubutu下安装flask直接按照菜鸟驿站的来Python uWSGI 安装配置依赖包安装 apt-get install build-essential python-devPython 安装 uWSGIpip直接安装pip install uwsgi通过源码安装（我才用的方式）wget http://projects.unbit.it/downloads/uwsgi-latest.tar.gztar zxvf uwsgi-latest.tar.gzcd uwsgi
2021-11-22 22:23:55
585
原创 书写高质量代码
函数尽量要短如果是python，一个函数最好不要超过20行函数的参数尽量少函数的参数越多，说明他的功能越复杂，违背单一职责原则最好只有一个或没有参数两个参数还能接受三个参数就应该好好考虑该怎么写代码了参数中出现bool类型简直就是不可忍受的事情，因为如果有bool值，就说明你想这么写：if 就做这件事，else就做另外一件事封装如果你在某个方法中过多的调用了另外一个对象中的方法，那么你就要考虑下这个方法到底该定义在哪了（应该属于哪个被调用的对象中）属性对类外部是隐藏的开闭原则举
2021-11-08 23:06:46
512
原创 Linux自学
大伙随便看看Linux子系统win10可以安装Linux子系统（再也不用安装虚拟机和双系统了），安装方法百度Linux子系统共享文件使用指令cd /mnt/c 就可以进入win10下得c盘，其他盘符同理
2021-11-04 21:40:35
87
原创 Python使用技巧
Python使用技巧（高质量和效率）欢迎使用Markdown编辑器基础语法xrange（只有py2 有）：py2中range直接生成一个列表，而xrange生成一个生成器，使用xrange能够节省内存，效率更高。在py3中，range默认生成生成器...
2021-11-03 20:53:12
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人