- 博客(12)
- 收藏
- 关注
RSS订阅原创 如何在服务器中成功部署大模型（Qwen3-14B-4bit）
部署如果只是用于简单推理或者使用webUI等这种前端去搭建RAG可以使用Ollama去下载拉取模型并运行run，配合docker可以很简单的部署并使用，由于我这里后续需要其他操作，所以使用魔搭modelscope下载然后在代码中利用接口调用部署的模型。echo 'export PATH="$PATH:/path/to/modelscope/bin"' >> ~/.bashrc # 替换为实际安装路径。prompt = f"""请分析以下代码的功能、输入输出、关键算法和可能的应用场景。
2025-09-12 16:38:19
984
原创 使用ollama关联已部署的gguf格式的大模型
modelfile这个需要，标明清楚模型的真实地址：/mnt/sdb/data/liqianxi/models/Qwen3-14B-Q8/Qwen3-14B-128K-UD-Q8_K_XL.gguf。1、先检查是否安装ollama：命令行直接输入ollama，出现下图，则说明安装了ollama，如果没安装的话，自行安装，很简单。5、后续进行私有化部署dify，连接这个ollama部署的模型进行开发agent。2、创建modelfile，文件地址可以放在model的文件夹下面。
2025-09-12 15:17:50
260
原创 如何在conda虚拟环境下安装llama-cpp-python，推理gguf格式大模型【踩坑总结超简单上手】
本文详细介绍了如何安装llama-cpp-python的CPU和CUDA版本。CPU版本需先安装Anaconda、创建虚拟环境并安装依赖，然后从源码编译安装。CUDA版本建议直接下载预编译的whl文件安装，并提供了解决GLIBCXX_3.4.30库缺失问题的方法：通过配置conda环境变量加载系统库。最后展示了如何使用安装好的库加载GGUF格式大模型进行代码分析推理，包括初始化模型、显存监控和推理测试的完整代码示例。文中特别强调了CUDA版本安装时可能遇到的问题及解决方案，为开发者提供了实用的技术参考。
2025-07-31 15:02:11
498
原创 如何在无法联网的服务器上离线安装配置python库环境？
对以上方法总结：使用在有网络的本地端下载好相应的镜像文件，然后copy到无法联网的服务器上指定文件夹，在使用pip 读取这个文件夹进行安装。--upgrade 这个表示升级版本，如果是替换低版本则将该命令替换成--force-reinstall，即强制卸载在重新安装指定。在本地电脑有网络的服务器中使用下面命令，用于下载指定版本包及其相关依赖项到指定目录py_packages下。如果这个库在当前虚拟环境里是没有的话，则使用下面命令就可以根据指定文件夹下的文件直接安装了。批量下载之后，就下载到了指定文件夹下。
2025-07-29 15:40:49
442
原创 linux命令中如何将root权限更改为自己的权限
表示原来这个文件夹的权限是root，现在变成了权限是liqianxi。liqianxi为权限用户名，test为这个文件夹。
2025-07-24 16:50:41
467
原创 服务器中解决代码无法在vscode上编辑保存的问题
如果你在使用vscode链接服务器进行编辑代码的时候，发现代码没法在vscode界面进行编辑保存，只能在命令行中使用nano或者vim进行编辑保存的话，请使用下面命令：
2025-07-24 14:28:53
241
原创 Linux服务器安装miniconda3
which conda # 返回 Conda 的完整路径，如 `/mnt/sdb/data/liqianxi/Miniconda/bin/conda`type conda # 显示 Conda 的来源（如果是 "conda is /path/to/conda"，说明 PATH 设置正确）注：这里不要先创建这个文件夹/mnt/Miniconda，他在安装的时候会自己创建。2、然后就是将下载好的安装包进行安装，这是安装到指定的文件夹 /mnt/Miniconda。
2025-07-24 11:35:44
708
原创 【无标题】easy-dataset框架使用Docker容器打开（个人使用纪录）
2、cd easy-dataset进入到这个文件夹下（这是我之前git进去的路径）3、docker ps -a查看目前有哪些容器是否运行。5、docker start <容器id>就是打开容器。4、docker stop <容器id>就是关闭容器。1、使用管理员权限cmd打开命令提示符终端。
2025-04-10 11:59:50
428
原创 如何在anaconda虚拟环境下安装pytorch【简单易上手版】
例如：安装这个CUDA11.8版本的，这里还是建议版本后面的数字都是一致的比较好，如torch==2.1.2对应torchvision==0.16.2和torchaudio==2.1.2，后面都是.2， 如果torch是后面.1版本，另外两个也选择.1版本。【注】你这里查看一下，你自己的显卡驱动所能支持的版本，我这里（显卡4060）显卡驱动支持cuda12.3，所以我安装的cuda和pytorch都很新，你只需要根据自己需要更改上面的版本数字就好了。若返回ture就是安装成功。5.检查是否安装成功。
2024-01-26 17:50:35
1426
1
原创 基于python脚本抢票时，如何获取12306的城市cookie
采用python脚本抢票时，我们需要知道城市cookie值才能检索定位到城市，那如何获取呢？打开12306网站后按下键盘F12之后回进入开发者模式。
2024-01-14 21:36:12
760
1
原创 基于python的splinter、selenium、httplib2第三方库的安装【简单易上手】
找到你安装python的绝对路径的D:\Program_softwares\python3.12_app\Lib\site-packages\pip，cd进去或者在那个文件夹下打开cmd，然后直接。同splinter安装方法类似，找到python绝对路径下面的那个pip文件夹下cmd进去后，输入指令pip install splinter。输入pip install selenium。输入pip install httplib2。同上，还是那个文件夹下，
2024-01-13 11:01:54
575
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人