- 博客(8)
- 收藏
- 关注
RSS订阅原创 xinference使用sglang报错
之前总数听说SGlang部署模型要比vllm快，一直想试试，也曾用过SGlang单独部署，但是因为已经习惯用xinference这个模型部署框架了，所以一直想在xinference中使用SCLang ，但是用它部署模型就会报错，今天终于解决，于是写一篇博客加深一下记忆。
2025-03-25 14:07:31
902
原创 debian.sources换清华源
进入/etc/apt/sources.list.d路径下备份debian.sources文件。修改 debian.sources文件内容。
2025-03-24 11:27:16
1095
原创 把本地项目打包成docker
示例：docker run -dt -p 9801:8080 --name docker_name ubuntu:16.04 /bin/bash。docker exec -it 容器名称或ID /bin/bash。注：因为我们是要把原本的项目打包的镜像里，所以不需要-v命令。docker pull python:(python版本)python -V #查看环境的python版本。2、生成requirements.txt文件。使用docker run命令创建容器。创建docker容器。
2025-03-08 23:17:25
502
原创 LLAma-Factory框架详细使用方法-0.8.3版本
注：如果你的模型比较大，一台显卡无法加载你的模型，你可以选择使用deepspeed单机多卡，DeepSpeed stage选择zero3，如果你一张显卡能够微调，但你有多张显卡的话，这里建议你使用zero2，可以提高接近两倍的训练速度，也就是节省一半的时间。如果你的模型参数比较大，一张卡无法加载你的模型参数，那么你就需要使用单机多卡来训练模型，你可选择deepspeed的zero3，如果你的一张显卡能够加载模型参数，你又有多张卡，可以选择zero2，使数据并行，这样可以大大减少训练时间。
2024-07-10 01:06:49
10431
9
原创 langchain-chacthatV0.3版本源码部署
本地运行Xinference， Xinference 运行大模型,我这里自定义了一个存储日志文件和大模型，embidding模型的路径，如果不自定义一个路径将会下载到默认的一个路径下，这样很容易将我们的系统盘给撑爆，以魔塔社区下载模型为例。：由于模型的默认模型就是bge-large-zh-v1.5,所以我们只需要运行默认embedding模型的命令就可以了，由于我们用的是CPU加载的embedding模型，所以初始化仓库的时候会比较慢，请耐心等待。初始化仓库(使用默认 embedding 模型)
2024-07-05 00:37:56
2499
1
原创 autodl端口映射方法
端口映射通俗的讲就是把远程服务器的端口映射到本地，是本地能够访问到服务器的端口，举个例子就是你在autodl运行了一个端口为6006的url，但是本地系统没法打开，这个时候我们就需要通过端口映射来把服务器的6006端口映射到本地才能访问连接目前有两种方法进行端口映射。
2024-07-05 00:05:43
6382
1
原创 服务器访问huggingface网站
有些时候我们公司的服务器出于安全起见是不能科学上网的，所以也就没有办法访问huggingface网站，今天我就教大家如何使用端口转发的形式来访问huggingface进行git拉取模型。
2024-06-12 14:43:14
2394
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人