- 博客(12)
- 收藏
- 关注
原创 ubuntu系统ollama及大模型离线部署
摘要: 本文介绍了在无GPU的Ubuntu 22.04系统(x86架构)离线环境下部署Ollama与大模型的完整流程。步骤包括:1)下载并配置Ollama,通过systemd服务管理;2)通过有网环境拉取模型文件(如deepseek-r1:7b),迁移至离线机器的/root/.ollama/models目录;3)启动Ollama服务并验证模型运行;4)最后在Dify平台关联Ollama(端口11434)调用模型。关键点涵盖环境变量配置、权限管理及跨平台文件迁移,解决了离线场景下大模型部署与调用的实际问题。
2026-06-30 09:56:21
386
原创 ARM架构docker离线安装步骤
本文提供了在ARM和x86架构下安装Docker的详细步骤:1)下载对应架构的Docker包并解压;2)复制文件到/usr/bin/;3)配置systemd服务文件;4)设置权限并重载服务;5)启动Docker服务。还包括常见问题解决方法:如命令找不到时设置PATH环境变量,以及如何检查GPU/NPU支持情况。所有操作均通过命令行完成,适用于Linux系统的手动Docker安装部署。
2026-06-29 21:34:12
246
原创 ARM架构dify、embedding、rerank离线部署
本文介绍了在ARM架构服务器上部署Dify系统的完整流程:1)安装Docker Desktop并确认运行状态;2)配置国内镜像源加速下载;3)制作包含Nginx、API服务、数据库等9个组件的docker-compose.yaml文件;4)执行镜像拉取并导出为tar包;5)将镜像转移至ARM服务器后逐个加载;6)下载Dify安装包并修改其docker-compose.yaml文件中的镜像地址。文中提供了详细的配置截图、镜像路径查询方法以及针对ARM架构的特殊处理说明,特别强调了使用VSCode编辑YAML文
2026-06-29 18:44:43
223
原创 ARM-docker compose离线安装
摘要: 本文介绍ARM架构下离线安装Docker Compose的完整流程。步骤包括:1)从GitHub或优快云下载对应版本;2)准备docker.service配置文件;3)将docker-compose二进制文件复制到/usr/local/bin/并重命名;4)设置文件权限;5)移动服务文件到systemd目录;6)重新加载配置;7)启动Docker服务并设置开机自启;8)通过docker-compose -v验证安装。附配置文件模板及详细操作命令,适用于离线环境部署。 (字数:149)
2026-06-27 08:36:44
182
原创 docker打包代码和开机自启动
本文提供了基于Docker部署Python项目的完整流程,分为四个主要部分: Docker打包 拉取Ubuntu 22.04镜像并按架构调整 创建容器并安装Miniconda3 配置Python虚拟环境及项目依赖 通过docker commit/save打包镜像 验证阶段 加载镜像并运行容器 测试代码执行(conda环境激活及API启动) 端口映射验证(8888:8000) 自启动配置 使用--restart always设置开机自启 通过组合命令实现容器启动时自动运行服务(uvicorn) 文件修改流程
2026-06-24 09:44:39
264
原创 大模型微调、量化、部署记录
本文记录了在RTX 4090D服务器上使用LLaMA-Factory微调qwen2.5-1.5B-Instruct模型的全过程。主要内容包括:1)通过WebUI界面完成模型微调,训练甄嬛风格对话机器人;2)使用llama.cpp工具进行模型量化和格式转换;3)通过Ollama实现本地模型部署。文中详细介绍了环境配置、数据处理、训练参数设置等技术细节,并提供了量化前后模型大小对比(从5.8G压缩到3.0G)和最终对话效果展示。该流程适用于需要快速实现大模型轻量化部署的场景。
2025-10-08 12:16:36
1045
原创 MATLAB diagnosticFeatureDesigner 一般使用步骤
------------------------------------------------------正文开始-----------------------------------------------------------找了官网的视频看了也不是非常清楚,此处做一个记录,希望能帮到需要的小伙伴。细节省略,只做大致步骤说明。接下来就可以利用选择的特征进行分类训练了。我们还可以根据分类结果回到此步骤适当地调整和选择特征。选择想选择的特征或者全部选择,再点击OK。欢迎批评指正交流分享~
2023-03-29 17:29:42
1060
1
原创 功率谱(PS)和功率谱密度(PSD)是否一样、谱估计谱图纵轴数值为什么为负
功率谱(PS)和功率谱密度(PSD)是否一样、谱估计谱图纵轴数值为什么为负
2022-10-28 10:41:11
23287
3
原创 【谱估计spectral estimation翻译、分类、书籍、实现代码】
谱估计spectral estimation翻译、分类、书籍、实现代码
2022-09-28 09:45:27
578
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅