LLM基础（三）——下载LLM权重

最新推荐文章于 2025-04-29 14:13:14 发布
最新推荐文章于 2025-04-29 14:13:14 发布
阅读量365 收藏 2
点赞数 7
分类专栏： 科研 文章标签： 语言模型 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_56742836/article/details/143820680
版权

官方网站当然是huggingface，但是...你懂得，国内基本下载得巨慢。

于是，有需求就有了产品。

HF-Mirror

这个是huggingface的镜像网站，如果在huggingface中可以直接下载（不需要申请）的模型文件，在这里同样可以直接下载，速度快得多了。如果windows就直接点下载图标就可以了。如果要申请的话，申请之后可以创建一个新的token用命令行下载。

如果是linux，可以先用下面的命令clone整个仓库的小文件（大文件一般不会直接下载好）

然后，用wget下载大模型。把鼠标放在下载图标处，然后右键一下，就出现复制链接地址，复制了然后wget就OK，下载好之后记得改个文件名。

当然，还有第二种方式，可以自由选择。

1、pip install -U huggingface hub

2、export HF_ENDPOINT=https://hf-mirror.com【LINUX】

$env:HF ENDPOINT ="https://hf-mirror.com'【Windows】

3、huggingface-cli download --resume-download 模型名 --local-dir 本地下载目录

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）
Sapphire521的博客
03-20 478
在未来的研究中，可以进一步优化GRPO算法，以提高其在更大规模模型上的适应性和效率。与标准的PPO（Proximal Policy Optimization）不同，GRPO引入了一种“相对梯度”策略，能够更精细地调整策略更新的步长，从而避免了过度更新和训练不稳定的问题。传统的监督学习方法主要通过大量标注数据进行训练，但在NLP任务中，很多问题都缺乏明确的标签，且数据分布具有高度的不确定性。通过上述工作，GRPO算法为LLM在复杂任务中的应用提供了新的思路，推动了强化学习在自然语言处理领域的进一步发展。
LLM 系列——BERT——论文解读
TigerZ*的博客
02-28 1522
BERT是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身旨在提供一个预训练的基础权重。
LLM模型软件下载
aoeace
12-10 288
改一下尾缀的版本号即可。
vllm-ascend：为Ascend NPU提供无缝支持的AI模型插件
gitblog_00524的博客
03-27 642
vllm-ascend：为Ascend NPU提供无缝支持的AI模型插件 vllm-ascend Community maintained hardware plugin for vLLM on Ascend 项目地址: http...
vLLM 部署大模型问题记录
技术分享，读书笔记，面试宝典，算法积累，应有尽有～
10-17 8941
vLLM 提供了一个官方的 Docker 镜像用于部署，这个镜像可以用来运行与 OpenAI 兼容的服务，并且在 Docker Hub 上可用，名为 vllm/vllm-openai。引擎启动参数：https://docs.vllm.ai/en/stable/models/engine_args.html。引擎启动参数：https://docs.vllm.ai/en/stable/models/engine_args.html。Llama3.2 最新支持视觉大模型，不支持音频输入。
Ai大模型实现本地化部署攻略，收藏这一篇就够了！
bagell的博客
10-28 4249
Rerankers是Github上支持rerank模型本地化的一个开源项目，支持不同类型的rerank模型，比如transformer-based, API-based，RankGTP等。我理解transformer-based cross-encoder类型的模型是主流，所以后续采用的也是这种。我了解有限，建议参考github项目文档了解更全面的信息。
DeepSeek-基于vLLM部署
03-08 1075
虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。
LLM实践——下载、加载（启动）、微调、量化等
lucky_chaichai的博客
12-05 1054
也可以使用git的方式，但是这个方式很慢，而且容易中途出现中断，或者下载的模型文件不完整。下面以lora方式微调为例（可以将bash命令写入.sh文件中，直接运行该文件。1、安装并部署api-for-open-llm；[ 下面这种方式还有具体实践过，待验证 ]3、启动api-for-open-llm；2、根据私有大模型信息修改配置文件；仅为机器性能结果，模型微调的效果。4、openai方式调用。
大语言模型生成式AI学习笔记——2. 1.2LLM指令微调——​​​​​​​指令微调
预见未来to50的专栏
04-30 836
如果你正在提高模型的翻译技能，你的示例将包括像翻译这个句子这样的指令。幸运的是，开发者们已经汇编了提示模板库，这些库可以用来获取现有的数据集，例如，亚马逊产品评论的大数据集，并将其转换为用于微调的指令提示数据集。与预训练不同，在预训练中你使用大量的非结构化文本数据通过自我监督学习来训练LLM，微调是一个监督学习过程，你使用一组标记示例的数据集来更新LLM的权重。在本课程的早期，你看到一些模型能够识别包含在提示中的指令并正确执行零样本推理，而其他模型，如较小的LLM，可能无法执行任务，就像这里显示的例子。
大语言模型生成式AI学习笔记——2. 1.4LLM指令微调——多任务指令微调
预见未来to50的专栏
04-30 1223
然而，它的表现并不像人类生成的基线摘要那样好，后者包括了诸如Mike询问信息以便于办理入住等重要信息，而模型的完成还捏造了原始对话中未包含的信息。虽然FLAN-T5是一个表现良好且适用于多种任务的通用模型，但你可能会发现它在你的特定用例的任务中还有改进的空间。在接下来的视频中，你将了解几个指标和基准，你可以使用它们来确定你的模型表现如何，以及你的微调版本比原始基础模型好多少。在许多轮次的训练中，通过计算示例的损失来更新模型的权重，结果得到了一个指令调整后的模型，学会了同时擅长许多不同的任务。
docker-vllm运行大模型
最新发布
玲听鑫声的博客
04-29 398
执行下载docker pull docker.1ms.run/vllm/vllm-openai。vllm/vllm-openai - Docker Image - 毫秒镜像。如遇到如下问题，可在启动命令上增加 --privileged。vllm镜像下载，国内代理源。--gpus 使用卡数。
VLLM x Ascend框架
hang on it more longer
03-29 562
备注：vllm安装失败，报ERROR: Could not build wheels for vllm, which is required to install pyproject.toml-based projects。vllm-ascend 和 torch-npu 所需。torch-npu 和 vllm 所需。vllm-ascend 必需。vllm 和 vllm-当前版本依赖于未发布的版本。
Linux环境下使用vLLM部署本地大模型
剑飞的架构思维
02-07 5929
通过以上步骤，您可以在Linux环境下成功部署vLLM并运行大模型服务。在实际操作中，可能需要根据具体的vLLM版本和模型文件进行调整和优化。后续的步骤3和步骤4将依赖于该服务进行测试，因此请务必不要关闭此终端窗口。下载成功后，模型文件会保存在./model/qwen2_5-1_5b-instruct文件夹下。本课程实验环境需与微调章节保持一致，确保在GPU环境下执行模型部署操作。如果你希望在后台持续运行服务而不受终端窗口关闭的影响，可以使用这条命令。下载开源模型进行部署，暂不在此演示。
【大模型】什么是大模型框架？常用的大模型框架盘点对比
yuuuuuuuk的博客
07-06 8450
大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和库。这些框架通常提供了高效的计算资源管理、分布式训练、模型优化和推理加速等功能，以便更好地利用硬件资源（如GPU和TPU）来处理庞大的数据集和复杂的模型结构。大模型框架的优点高效性：通过优化计算和内存管理，这些框架能够显著提高训练和推理的速度。可扩展性：支持分布式训练，可以在多个GPU或TPU上运行，适用于大规模数据集和复杂任务。灵活性：提供丰富的API和工具，使得研究人员和工程师可以方便地进行定制化开发。
使用vllm docker容器部署大语言模型
yuanlulu的博客
02-11 6449
假设"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"被下载到了/mnt/llm_deploy/目录下，则模型的绝对路径是/mnt/llm_deploy/DeepSeek-R1-Distill-Qwen-32B，后面部署会用到这个目录。上面映射了目录/mnt/llm_deploy/到容器内部的/home/llm_deploy，则容器内看到的模型目录是/home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B。搜索最新的vllm镜像。
如何将hf-mirror.com作为vllm默认的下载源
xiezhipu的博客
03-06 342
此配置方案已在NVIDIA 3090单卡部署DeepSeek-R1 32B等大模型场景验证，可有效解决国内开发者访问Hugging Face速度慢或连接失败的问题。nohup: 无法运行命令 ‘HF_ENDPOINT=https://hf-mirror.com’: 没有那个文件或目录。该错误表明环境变量设置位置错误导致命令解析异常。此设置对所有基于Hugging Face库的下载生效，包括vLLM。这个命令打完以后，响应的服务会随着你关闭终端窗口而关闭。被错误识别为命令主体，而非变量赋值前缀。
vllm+vllm-ascend本地部署QwQ-32B
xyz3120的专栏
04-21 347
基础镜像地址：https://quay.io/repository/ascend/vllm-ascend?具体可以参考链接：https://vllm-ascend.readthedocs.io/en/latest/installation.html。/xxx/models/llmmodels是宿主机放模型的目录，/usr1/project/models是容器内目录。/usr1/project/models/QwQ-32B：模型路径。served-model-name：接口调用需要传入的模型名称。
OpenAI 宣布将让人们无需注册账户即可免费使用 ChatGPT
程序员鑫港的博客
05-27 1215
自 2022 年底首次向公众推出以来，OpenAI 一直要求想要访问该聊天机器人的用户注册 OpenAI 账户。今天，该公司透露将向所有人免费开放 ChatGPT，无需创建账户。OpenAI表示，它将"逐步"推出这一新的访问权限，因此，根据您居住的地方，您可能仍需要先注册一个账户，然后才能向所有人提供这一改进。在开放之后，ChatGPT 打开就能用，看起来终于初步具备了「AI 搜索引擎」的样子。
LLM部署
03-08
### 如何部署大型语言模型 (LLM) 最佳实践 #### 选择合适的平台和服务 为了简化开发流程并提高效率，可以选择像 Hugging Face 这样的平台来获取预训练好的 LLM 和配套资源[^2]。这类平台不仅提供了丰富的模型库供选择，还具备完善的API接口用于快速集成。 #### 准备环境与依赖项安装 在本地或云端服务器上创建适合运行深度学习任务的操作系统镜像，并确保已正确配置Python虚拟环境以及必要的第三方包版本兼容性检查。对于特定类型的GPU加速计算需求，则需额外关注CUDA驱动程序及其关联工具链的适配情况[^3]。 #### 下载并加载预训练模型 利用官方文档推荐的方式下载目标架构对应的权重文件至指定路径；接着通过相应的加载函数实例化神经网络对象，在此过程中可自定义输入张量形状参数以适应不同应用场景下的实际要求[^1]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "your_model_directory" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` #### 配置推理设置 针对具体业务逻辑调整超参设定（比如batch size、max sequence length等），同时考虑采用混合精度运算、分布式多卡训练等方式进一步提升吞吐率表现。另外值得注意的是，某些情况下可能还需要引入外部知识图谱作为补充信息源增强预测准确性[^5]。 #### 测试验证效果 完成上述准备工作之后便可以着手编写简单的交互界面让用户能够方便地提交待处理文本片段给后端服务进行解析响应。期间务必重视异常捕获机制的设计防止因意外状况导致整个应用程序崩溃退出[^4]。 #### 性能优化措施 最后一步就是持续监控线上流量负载变化趋势及时作出相应对策——例如启用缓存策略减少重复请求开销、实施剪枝量化压缩减小存储空间占用等等。此外也可以尝试探索更先进的算法改进方案从而达到更好的用户体验水平。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rebegin_2023

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值