一文搞定llama在linux的下载（huggingface版，使用镜像）

原创 已于 2024-11-11 14:43:46 修改 · 1.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #linux #运维

于 2024-11-11 13:31:12 首次发布
部署运行你感兴趣的模型镜像

下载Llama需要两步走

  • 申请参数
  • 下载模型

申请参数

首先我在github上找到llama项目，链接：Llama3
权限申请我推荐使用huggingface。这是因为用meta llama官网申请的时候，我把信息都填好了，结果按accept and continue它没动静。但huggingface申请参数就很顺利。

我们在huggingface上找到了meta-llama项目，找到我们要下载的模型：比如Llama-3.2-1B

我们需要注册才能下载模型：
在这里插入图片描述

注册完了以后填信息，注意这里有个坑。这个table填China是批准不了的，可以天别的国家（学校等可以填别的国家的学校），邮箱我用的是个人邮箱。

在这里插入图片描述

填完了以后它审批好会发邮件给你（huggingface注册用的邮箱）这个时候你就能下载了。

下载模型

  1. huggingface access token
    在这里插入图片描述
    创建token，token是write类别，然后把api key复制下来

  2. 设置镜像源 (可以将它写入~/.bashrc)

# 这个是设置镜像源的环境变量，建议将上面这一行写入 ~/.bashrc。若没有写入，则每次下载时都需要先输入该命令
export HF_ENDPOINT=https://hf-mirror.com
  1. linux登录huggingface：
    这里我用的是huggingface-hub==0.23.4
    如果没有install的可以pip install 一下
huggingface-cli login
之后输入你的api key，你就成功登录了
  1. 用命令行进行下载
huggingface-cli download --resume-download meta-llama/Llama-3.2-1B --local-dir meta-llama/Llama-3.2-1B
# local dir代表本地存储的位置

参考链接：
api key的获取
huggingface login 的方式
国内镜像源使用方法
huggingface申请方法借鉴

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

玉章.
关注
llama2模型下载
artistkeepmonkey的博客
08-07 6637
LLaMA 2-CHAT与OpenAI ChatGPT效果一样好。LLaMA 2与LLaMA 1架构相同，LLaMA 2训练数据是2000000000000个tokens，还是用了1000000个人类新标注的数据。上下文长度由2048提升为4096。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
AGI
08-08 5097
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
llama镜像下载使用
最新发布
qq_63108111的博客
10-24 155
【代码】llama镜像下载使用。
linux下 搭建Llama3
念去去
05-30 1328
搭建大模型 Llama
liunx服务器部署Llama2大模型
Bedoom的博客
05-06 704
最简单部署大模型教程
下载官方llama
qq_38148600的博客
08-21 2431
每个账号只能填一次申请表，只要国家填了中国，目前是百分百被拒绝（试了三个号，地址写中国都被拒）。核心方法，切换为别的国家ip地址，然后填写别的国家，申请经过一段较长时间（大概10-30分钟），差不多就能通过。转换为safetensors格式（hugging face版本）（视频是llama2，下载llama3是另外一个git）需要不停的更换节点，一直到合适为止。有好心人号称上传了GGUF格式。不出意外的话，会报403错误。这是因为对方屏蔽了你的地址（具体可以看这个B站视频。然后输入申请到的链接。
如何在国内下载llama模型
weixin_45783996的博客
09-04 9388
由于项目需求要下载llama模型，本来觉得这是个很简单的事情，直接去huggingface上下载就行，但是没想到遇到了重重问题，于是写下这篇博客记录一下，希望对别人也有帮助！刚开始搜到的教程是官方给出的，先去https://llama.meta.com/llama-downloads/申请一个URL，再下载GitHub的脚本进行下载，但是我实操之后总是在下载过程中返回403forbidden，所以感觉这条路行不通，所以只能试一下通过huggingface能不能下载。
如何在huggingface上申请下载使用llama2/3模型
热门推荐
a61022706的博客
05-12 1万+
huggingface-cli download --resume-download 模型名称 --local-dir 存放模型的位置 --local-dir-use-symlinks False --resume-download --token token序列号xxxxxxx。登录huggingface，在模型详情页面上，找到这个表单，填写内容，提交申请。需要使用梯子，country填写梯子的位置吧(比如美国）等待一小时左右，会有邮件通知。
不使用梯子下载huggingface模型——使用镜像下载
Aorg1的博客
01-07 1万+
不使用梯子下载huggingface模型
Llama3软件下载，无需科学即可使用，本地
09-12
Llama3软件下载，无需科学即可使用，本地安装直接使用，安装配置方法可看我发布的教程
开源社区第一个能下载、能运行的中文 LLaMA2 模型！.zip
02-07
开源社区第一个能下载、能运行的中文 LLaMA2 模型！.zip
精选资源
Llama2-7B/13B chat模型（下载地址）.txt
10-13
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 ... - **高效性**：Llama2系列模型采用了先进的算法和技术，能够在保证高质量输出的同时，降低计算资
在 Hugging Face 上下载和使用 LLaMA 模型
m0_56296402的博客
12-06 1637
下拉有：（填写注意：与梯子一致的Hong kong ,机构填写的the university of hong kong;输入需要的模型类型meta-llama/Llama-2-7b-hf进行权限申请。在 Hugging Face 上下载和使用 LLaMA 模型（如。）手动下载模型文件并加载。
Llama模型下载
mashutian的博客
03-27 4516
Llama 2是Meta最新的大语言模型（LLM），应用广泛，影响力大。在模型架构方面，Llama 2 采用了 Llama 1 的大部分预训练设置和模型架构。Llama2 有 4 种不同的大小的模型：7B、13B、34B 和 70B（34B 版本尚未发布，下载选项里确实也没有）。，把这个download.sh下载下来或者直接新建个bash文件，然后把download.sh复制到咱们的文件里。接着你就输入你邮件里的那个url信息，选择要下载的模型就可以啦！然后拉到底，勾选I accept就可以继续了。
Linux上利用镜像下载huggingface模型或数据集
Bizarre_space的博客
12-05 1175
模型ID和数据集名称只需点击huggingface上的复制即可。需登录huggingface，点击右上角头像->输入保存的huggingface token。记得保存下来，以便后续使用。
【新书】大模型与生成式人工智能医学应用，58页pdf
2301_76168381的博客
04-07 712
这本实用书籍向医疗保健领导者、研究人员、数据科学家和AI工程师展示了LLMs和生成式AI今天以及将来的潜力，使用故事讲述和医疗保健中的示例用例。谷歌医疗保健和生命科学行业团队的Kerrie Holley和Manish Mathur帮助您探索这些技术在医疗保健中的实际应用，从个性化患者护理和药物发现到增强的医学成像和机器人辅助手术。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。理解LLMs和生成式AI在医疗保健中的潜在用途，以及它们在近期及未来的前景。
LLaMA-2 下载&demo使用
Enternalwiser的博客
12-26 7578
LLaMA-2 下载&demo使用
Llama 3 大模型最简单的下载方法！实现本地可视化部署
youmaob的博客
09-07 3538
Llama 3 模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。在线使用官网地址是：https://www.meta.ai/不仅可以智能对话，也可以在线生成图片本地安装部署通过LM Studio 下载Llama 3 大模型：https://lmstudio.ai/下载模型后通过Jan加载模型（https://jan.ai/），就可以实现可视化操作使用！非常适合新手。
Meta的 Llama-3 在线使用与下载
weixin_42179685的博客
04-19 7191
Llama 3 在 24K GPU 集群上训练，使用了 15T 的数据，提供了 8B 和 70B 的预训练和指令微调版本，可以支持广泛的应用。目前得到的信息并不是很多，只知道Meta称Llama-3相比之前模型多使用了掩码和分组查询注意力这两项技术。（不明觉厉~）
llama2 linux部署 huggingface
02-22
### 如何在Linux上部署Llama2模型 为了在Linux环境中成功部署Llama2模型，可以遵循一系列特定的操作流程来确保顺利安装和配置环境。这通常涉及克隆必要的仓库、准备依赖项以及执行转换脚本来适配权重文件。 #### 准备工作 首先，在目标机器上创建一个新的虚拟环境并激活它： ```bash python3 -m venv llama_env source llama_env/bin/activate ``` 接着按照官方指南获取`transformers`库源码，并完成初步设置[^3]： ```bash git clone https://github.com/huggingface/transformers.git cd transformers pip install . ``` #### 安装额外依赖包 由于部分功能可能需要特殊的支持库，因此还需要单独安装这些工具，比如用于处理协议缓冲区数据格式的`protobuf`: ```bash pip install protobuf ``` #### 转换原始参数至兼容版本 对于来自第三方渠道下载得到的预训练权重，需通过专门编写的Python脚本将其调整成适合Hugging Face框架使用的格式。此过程涉及到指定输入路径（即存放原生权值的位置）、模型尺寸选项（如7B, 13B等），还有最终保存位置三个要素: ```bash python src/transformers/models/llama/convert_llama_weights_to_hf.py \ --input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir ./converted_model/ ``` #### 加载与推理测试 一旦上述准备工作全部就绪，则可以通过加载已转换好的本地模型来进行简单的预测尝试。下面给出了一段简短的例子展示如何实现这一点： ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("./converted_model/") model = AutoModelForCausalLM.from_pretrained("./converted_model/") text = "Once upon a time" inputs = tokenizer(text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 以上步骤概括了基于Hugging Face Transformers库在Linux平台上部署Llama2模型的主要环节。值得注意的是实际操作过程中可能会遇到各种各样的挑战，建议参考官方文档或其他社区资源寻求帮助和支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值