- 博客(55)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 安装带GPU的docker环境
1.安装NVIDIA容器工具包先验证NVIDIA驱动安装(nvidia-smi)使用更新后的方法安装工具包(避免弃用的apt-key)配置Docker使用NVIDIA运行时2.解决依赖冲突彻底卸载旧版本Docker和containerd清理残留配置文件使用--fix-broken修复依赖关系3.优化配置修改Docker存储目录位置正确设置容器资源限制(CPU/GPU内存)调整容器命名和管理方式
2025-07-15 14:29:44
485
原创 Chatbox调用Fastapi服务实践
摘要：本文展示了如何用FastAPI部署一个模拟ChatGPT API的聊天服务。服务端代码实现了/v1/chat/completions接口，支持流式和非流式两种响应模式。配置允许跨域请求后，服务在8100端口启动。测试时，Chatbox向该接口发送包含对话历史的请求，服务端成功接收并返回预设的"你好"响应。日志显示完整的请求内容和200响应状态，验证了API的可用性。该实现可作为开发测试的简易替代方案，但实际应用中需扩展业务逻辑处理真实对话场景。
2025-07-07 11:29:18
211
原创 移动conda虚拟环境的安装目录
方法 | 适用场景 | 注意事项 || 重新创建环境 | 跨平台或需要彻底清理时 | 耗时较长 || 直接移动文件夹 | 同系统快速迁移 | 需修复路径和符号链接 || conda-pack | 大环境或网络受限时 | 需额外安装工具 |推荐优先级：方法 1 > 方法 3 > 方法 2如果环境较小或需跨平台，优先选择 重新创建；如果环境很大且网络差，用 conda-pack。
2025-07-02 14:09:06
421
原创 vllm推理实践
报错：仍然报GPU内存不足。 可以获得输出结果：完整代码2. vllm的chat模式推理报错如下：分析问题：修复1：使用 tokenizer.apply_chat_template 转换 messages将改为：成功输出：修复2：直接构造字符串 prompt（手动模板）将：改为：输出：
2025-07-01 09:54:19
276
原创 llama-cpp-python使用教程
llama-cpp-python使用教程摘要 本教程详细介绍了llama-cpp-python的安装、基础用法和高级功能。安装支持CPU、GPU（CUDA/Metal）及OpenBLAS加速，需配置对应环境。基础用法包括加载GGUF模型、文本生成和对话模式。高级功能涵盖GPU加速（设置n_gpu_layers）、多模态处理（图片描述生成）和流式输出。实用技巧包括模型量化（如Q4_K_M平衡性能与显存）、显存优化（内存映射）和性能调优（线程/批处理设置）。常见问题解决涉及CUDA路径配置、GCC升级等。适用于
2025-06-30 11:28:33
374
原创 安装llama-cpp-python踩坑记
安装报错，分析如下：这个错误是因为 LLAMA_CUBLAS 选项已经被弃用，建议使用 GGML_CUDA 替代。你需要修改安装命令中的 CMake 参数。
2025-06-30 11:04:45
317
原创 linux机器间无密码如何传输文件
本文介绍了Linux系统间文件传输的几种方法：1) SCP传输遇到密码验证问题，需输入正确密码；2) 详细对比了SCP、rsync、SFTP、nc等传输方式的特点与使用场景；3) 重点演示了使用nc(netcat)进行无密码传输的具体步骤，包括安装、文件发送/接收操作；4) 通过SHA256校验确认文件传输完整。最后总结nc传输的关键命令流程：接收端监听端口写入文件，发送端通过端口发送文件。nc适用于内网快速传输，但缺乏加密机制需谨慎使用。
2025-06-17 17:21:02
223
原创 关于deepseek训练tokenize设计的思考
文章摘要：本文探讨了对话系统中思考过程(tokenize)处理的优化方法。初始设计将思考过程(reason)错误地包含在指令(instruction)部分，导致其未被纳入训练目标。改进方案将思考过程作为助理(assistant)回复的一部分，包括在标签(labels)中以计算损失。修正后的代码结构分为三部分：1) 系统提示和用户问题(忽略损失)；2) 助理完整回复(含思考过程和最终答案)；3) EOS标记(均计算损失)。这种设计确保模型学习"思考-回答"的完整生成逻辑，与推理流程保持一致
2025-06-13 15:27:45
167
原创 webui无法注册如何配置
可以看到：允许用户注册，开关默认并未打开，打开开关并保存，普通用户注册就可以看到注册入口了。ADMIN_USERNAME=admin # 管理员账户（第一个注册用户）DISABLE_REGISTRATION ：是否禁用注册（设为 false 以启用）。DISABLE_REGISTRATION=false # 确保为 false。普通用户登陆进来后，发现没有可用的模型。普通用户就看看到模型了。
2025-06-06 16:11:51
604
原创 ollama的若干实践
方法 1：手动检查最新版本并下载 访问 Ollama 的 GitHub Releases 页面：打开方法 2：使用官方安装脚本（推荐该脚本会自动检测系统架构并下载最新版本 安装完成后，运行 ollama pull llama3 测试方法 3：使用 AppImage（免安装）如果仍然无法下载，可以直接使用安装完成后查看ollama版本。
2025-04-27 10:51:23
1469
原创 docker 中将dpo后的模型转为ollama能够调用的gguf格式
将dpo后的模型路径/home/pretrained_model/output/ 映射到docker中的/output目录。
2025-04-21 14:04:03
1200
原创 Bert4keras相关环境安装
特别要注意：keras-nightly 2.5.0.dev2021021100 的安装，其版本号有点特别。安装：cudatoolkit 10.1.243。安装：bert4keras 0.11.3。1. 创建虚拟环境，先安装cudatoolkit和cudnn。cudatoolkit版本不对容易报so库找不到的错。2. 安装对应的tensorflow版本与依赖。(2) tf转onnx错误。(1) so库找不到。
2023-12-06 21:11:09
975
原创 运行pytorch时出现version `CXXABI_1.3.9‘ not found
发现问题：运行bert预测代码时出现如下错误。在命令行执行如下命令。
2023-09-27 18:30:22
855
1
原创 关闭pythcarm console运行
1. 点击pycharm顶部的run按钮2. 点击弹出框的 Edit Configurations3. 点击弹出对话框右下角的 Edit configuration templates4. 去掉 Run with Python Console的勾选====>5. 如果报有已存在的同名文件，可将相关文件夹排除6. 最后shift+F10就不会再pycharm console上运行了，而是在run上运行7. 参考文章...
2022-04-25 17:48:26
2222
原创 在windows上访问linux中的jupyter虚拟环境
1、在linux上激活虚拟环境-bash-4.2$ source activate py382、使用ipykernel为不同的虚拟环境配置不同名字(1) 安装ipykernel(py38) -bash-4.2$ conda install ipykernel(2) 配置虚拟环境的内核名称python-mipykernelinstall--user--name=你的环境名称--display-name"Python(环境名称)"(py3...
2021-09-06 20:03:08
663
原创 docker中neo4j知识图谱数据库创建指南
1 docker拉取neo4j镜像 （1）从景下源中找到合适的镜像 命令：docker search neo4j （2）拉取镜像源 命令：docker pull neo4j:版本号2 构建neo4j容器 命令：docker run --name qa_poi_container -d -it -p 7474:7474 -p 7687:7687 --mount type=bind,source=/home/neo4j/conf,tar...
2021-01-06 20:03:16
888
原创 NER建立模型时出现concat tensors不匹配问题
1 问题描述 在建立NER识别模型时出现： TypeError: Tensors in list passed to 'values' of 'ConcatV2' Op have types [bool, float32] that don't all match. 2 分析问题 我们仔细看报错语句，可以看到真正报错的语句为：return tf.concat([to_dense(x) for x in tensors], axi...
2020-06-04 21:13:04
1523
1
原创 多字符集下CString string char* char[]之间相互转换
在每次用到这些字符串转换的时候，总是记得不是很清楚，查找这些资料也总是浪费了很多时间，在此总结一下，方便以后使用。准备工作： (1) 先将工程的字符集设置为多字节，否则会出现在字符拷贝时结尾为乱码。举个例子， CString pathStr("abc"); char path[200]; strcpy_s(pa
2020-05-29 19:16:46
753
原创 dataframe数据报NaN和infinite错误
问题描述：ValueError: Input contains NaN, infinity or a value too large for dtype('float64').分析问题： 开始以为是输入数据的问题，经过反复修改输入数据，发现问题依然存在。于是想看看报错处的数据长什么样： 发现输入数据确实存在nan值，进一...
2020-04-19 15:43:18
1342
原创 excel中文显示乱码
问题描述：linux系统生成的utf8编码的excel在linux系统下的windows虚拟机中显示正常，但在windows系统中就出现了乱码，如下：分析问题：实验1：改为ANSI编码实验2：改为大端编码实验3：改为utf8编码转换前后没有不同。修改字符集后：修改字符集后编码如上更加乱了。实验4：对ex...
2020-03-14 17:35:46
20147
1
原创 tensorflow2.0训练报数据输入错误Failed to find data adapter
1 问题描述：运行如下训练代码：import numpy as nphistory = classifier.fit(x_train, y_train, batch_size=10, epochs=100, validation_data=(x_test, ...
2020-01-19 19:45:01
18045
5
原创 Windows10下安装使用tensorflow2.0
1 下载Anaconda Anaconda3-2019.10-Windows-x86_642 点击Anaconda安装包进行安装3 手动将Anaconda添加到系统环境变量中 在安装目录中我们可以找到conda可执行文件的路径： 然后将conda所在的目录添加到环境变量的用户变量中：用户变量与系统变量的区别： (1) 用户变量为...
2019-12-27 18:30:30
1003
原创 jupyter运行远程云服务器的md文件
1 开放云服务器安全组的访问权限 如果未开放其它ip的访问权限会出现connect time out的问题。2 激活gluon环境 3 安装notedown插件 pip install https://github.com/mli/notedown/tarball/master 安装完成后显示成功： 4 配置好jupyt...
2019-08-12 22:42:16
375
原创 linux SCP免密传输文件
1 带密码的scp传输从client端传输文件到server端。client端发送文件到指定ip的目录下：输入密码后，查看server端是否接收到文件：2 在client端生成密钥对/usr/local/app/.ssh路径即为: ~/.ssh3 在client端将生成的公钥拷贝到server端的~/.ssh目录下如果~/.ssh目录不存在，则创建该目录拷贝前只有两个文件：拷贝文件：拷贝后serv...
2018-06-18 12:54:07
30973
原创 crontab 定时运行脚本程序
1 编写crontab文件，设定启动时间，执行脚本2 第三方软件所需的环境变量 (1) crontab启动命令 (2) shell脚本内容 PATH定义了命令行输入命令的搜索路径，因此将python命令的安装路径放入PATH变量中。 export命令用于将shell变量输出为环境变量，或者将shell函数输出为环境变量。source命令在当前Shell环境中从指定文件读取和执行命令...
2018-06-11 19:04:19
721
原创 python plot 显示找不到qt platform
1 运行python画图报错2 检查是否安装了绘图组件3 解决办法 以管理员身份windows下登陆pycharm
2018-06-07 07:36:07
2452
原创 python 字符串转16进制数字
1 原始文件中的字符串2 读取文件字符串从文件中读取2个字节，代码如下：def print_hex_str(str1): print len(str1) print str1 print int(str1, 16) for i in str1: print "--------" print('%#X' % ord(i)) print...
2018-05-14 19:14:36
44102
原创 linux 非root用户登录shell路径提示符补全
1 初始登录显示路径为-bash-4.2$2 root用户登录拷贝.bashrc和.bash_profile到用户的主目录下查看用户主目录：拷贝文件到主目录下：重新登录非root用户客户端：重新登录后shell路径提示符补全了显示shell路径提示符的关键代码：3 缩短shell路径提示符长度大写W显示最后一个目录：脚本：export PS1='[\u@\h \W]\$ '小写w显示全路径：脚本：...
2018-04-21 19:07:06
2527
原创 secureCRT字体颜色配置
一、设置字体颜色1 配置背景颜色2 设置字体颜色3 设置目录的颜色4 设置具有写文件夹的背景颜色5 设置压缩文件颜色6 可执行文件颜色7 设置图片文件字体颜色8 设置软连接字体颜色二、应用颜色三、参考文章1、https://blog.youkuaiyun.com/u010031673/article/details/511308892、https://blog.youkuaiyun.com/sole_cc/article...
2018-04-20 20:34:18
20695
1
原创 winscp连接腾讯云
1 准备好腾讯云的公网ip2 在winscp中选择新建站点3 将腾讯云的公网ip和端口号填入winscp中4 点击高级按钮进入高级设置页面设置代理5 winscp登录腾讯云
2018-04-16 17:40:05
4252
1
原创 腾讯云挂载云硬盘
挂载云硬盘fdisk-l列出所有盘mkfs.ext4/dev/vdb格式化mount/dev/vdb/data盘挂载好了以后，记得在启动文件/etc/fstab里面也要加启动挂载的选项，否则重启就没了查看已挂载盘符：显示所有盘：格式化;挂载盘符：配置启动挂载：
2018-04-16 12:59:00
1248
原创 腾讯云的secureCRT登录配置
腾讯云的secureCRT登录配置1购买腾讯云2配置代理3设置登录ip4双击ip登录输入购买腾讯云时设置的登录密码即可
2018-04-16 11:35:01
2313
原创 undefined reference to 之原因分析
问题描述：安卓ndk-build的时候出现如下错误： 分析问题：该问题一般由动态库的缺失，或者接口函数未实现所导致。然而该函数在代码中已实现，Cpp中代码如下：ErrCode_eClassifier_Init_From_Json(Classifier_t*pClassifier,constchar*strRulePath){
2016-12-16 10:09:31
891
原创 安卓NDK编译jsoncpp
1 下载jsoncpp开发包 下载地址：http://sourceforge.net/projects/jsoncpp/files/jsoncpp/0.6.0-rc2/ 下载压缩包：jsoncpp-src-0.6.0-rc2-amalgamation.tar.gz 和jsoncpp-src-0.6.0-rc2.tar.gz2 整理编译源文件 将jsonc
2016-12-13 15:06:37
3525
原创 安卓jni的so崩溃调试
1 准备带bug的安卓程序public class HelloJni extends Activity{ /** Called when the activity is first created. */ @Override public void onCreate(Bundle savedInstanceState) { supe
2016-07-26 10:47:22
1612
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人