- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 vLLM-benchmarks本地离线测试
本文详细记录了在NVIDIA H200 Tensor Core GPU服务器上离线部署DeepSeek-R1-0528（671B）大语言模型的完整流程。采用vLLM推理框架，通过8张H200显卡（140G显存/张）实现多卡并行，配置了FP8量化和前缀缓存优化。部署过程包括Docker环境搭建、vLLM容器启动、离线缓存配置以及Conda基准测试环境准备。测试使用vLLM官方工具，模拟高并发场景（200请求/秒），设置2048输入/512输出长度，完成10000次请求的性能评估。文档涵盖了硬件配置（Dell
2025-08-31 02:12:48
1013
原创 Dify修改工作流上传文件数量限制
Dify版本1.1.3的更新主要包括以下几个方面：首先，对文件上传的限制进行了调整，将单个文件上传的最大限制从10增加到1000，并修改了批量上传的相关限制。其次，对Docker的启动方式进行了调整，改为从本地web启动而非镜像启动。此外，还更新了Docker的配置文件，确保前端代码的正确构建和容器的顺利启动。这些改动旨在提升系统的文件处理能力和部署灵活性。
2025-05-21 11:24:06
1959
5
原创 Ubuntu24.04环境部署大模型【Ollama+Dify+Xinference】
操作系统环境：ID=ubuntu显卡：NVIDIA GeForce RTX 4090Ollama：版本 0.6.5作用：Ollama 是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。Dify：版本1.1.3Dify 是一个开源的大语言模型（LLM）应用开发平台，它致力于为开发者提供一站式、低代码甚至无代码的 AI 应用开发体验。Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。
2025-04-21 16:37:19
3872
原创 ubuntu18.04部署owncloud
记录一次ubuntu部署owncloud目录修改apt 源到阿里云安装mysql、apache2、redis-server,并设置开机自启动下载owncloud包修改mysql密码与数据保存路径修改MySQL目录修改mysql启动文件，并修改apparomr访问规则重启服务并确认是否修改成功安装PHP7.3解压owncloud包到owncloud-data/，并修改属组修改apache2 主目录创建owncloud数据库用户并授权修改owncloud...
2021-12-22 22:20:53
1177
原创 Centos7 安装部署FTP服务
1、安装FTP服务，添加用户及用户组groupadd ftpbackupuseradd -d /home/backup -s /sbin/nologin -g ftpbackup ftpbackupyum install vsftp -ysystemctl enable vsftpd && systemctl start vsftpd firewall-cmd --add-serive=ftp --permanentfirewall-cmd --reload2、配
2021-11-08 14:22:51
675
原创 开源系统-咖啡壶部署安装
咖啡壶链接地址：https://gitee.com/celaraze/chemex?_from=gitee_search咖啡壶（Chemex）是一个轻量的、现代设计风格的 ICT 资产管理系统。得益于Laravel框架以及Dcat Admin开发平台，使其具备了优雅、简洁的优秀体验。 咖啡壶（Chemex） 是完全免费且开源的，任何人都可以无限制的修改代码以及部署服务，这对于很多想要对ICT资产做信息化管理的中小型企业来说，是一个很好的选择：低廉的成本换回的是高效的管理方案，同时又有健康的生态...
2021-09-29 10:57:16
3237
3
原创 CentOS 7.9 升级openssh-8.4p1；我按照别人文档升级发现总是各种问题。这是经过测试后正常连接登录的。离线安装升级
yum下载不安装： yum --downloadonly --downloaddir=/root/ 软件名安装依赖包rpm -ivh --nodeps --force gcc-4.8.5-44.el7.x86_64.rpm \ cpp-4.8.5-44.el7.x86_64.rpm \ kernel-headers-3.10.0-1160.31.1.el7.x86_64.rpm \ libmpc-1.0.1-3.el7.x86_64.rpm \ mpfr-3.1..
2021-07-14 23:46:36
298
原创 vmware centos 7 添加硬盘并挂载
在vmware下添加一块10G的新硬盘使用fdisk –l 查看新添加的磁盘是否生效然后使用fdisk分区工具进行分区 fdisk/dev/sdbP：打印当前磁盘的分区情况。n：重新建立一个新的分区。w：保存操作。q：退出。d：删除一个分区用n创建一个新的分区，会提示要建立e（extended扩展分区）或者p（primary partition主分区）。创建两块5GiB的primaryp...
2018-05-14 16:47:42
16231
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人