【实战教程】linux系统下载huggingface大模型教程

`AllureLove

已于 2024-04-28 15:48:33 修改

阅读量2.8k

点赞数 7

CC 4.0 BY-SA版权

分类专栏：自然语言处理文章标签：大模型 huggingface 抱抱脸

于 2024-04-24 11:03:57 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_36488653/article/details/138151664

文章目录

准备工作
- 添加SSH Key
- 生成Access Token
模型下载

准备工作

添加SSH Key

# 本地机器生成ssh key
# step1：安装git
brew install git 
# step2：验证git是否成功下载
git version
# git version 2.31.1
# step3：配置账号（如已经配置，直接跳到step5）
git config --global user.email "你的邮箱"
# 一路回车，就不需要每次记密码了
# step4：生成公共密钥
ssh-keygen -t rsa 
# step5：查看密钥
cat ~/.ssh/id_rsa.pub

复制上述生成的密钥在huggingface网站中配置，进入settings->SSH and GPG Keys->Add SSH Key，添加生成的密钥即可；查看ssh是否正常链接

ssh -T git@hf.co
# Hi XXX, welcome to Hugging Face.

然后安装LFS：

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

`AllureLove

关注关注

7
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基于大模型的Text2SQL微调的实战教程(二)

herosunly的博客

04-23

21万+

本文主要介绍了基于大模型的Text2SQL微调的实战教程(二)，希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 数据预处理 3.2 修改配置文件 3.3 微调

LLaMA Factory单机微调的实战教程

herosunly的博客

04-24

21万+

本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调

1 条评论您还未登录，请先登录后发表或查看评论

linux使用国内镜像源下载huggingface文件

qq_43725659的博客

12-21

4145

Linux下载huggingface模型国内镜像

【大模型部署实践-1】从huggingface下载开源模型

qq_40302568的博客

12-15

1565

消费级显卡上部署LLM

Linux上使用huggingface-cli下载相应模型

fengxiaolong12_的博客

06-13

461

然后设置huggingface的国内镜像网站。若安装失败重新再运行一遍代码即可。在命令行中输入后，会提示 "账号需要你输入自己账号的。

linux下如何下载huggingface模型到本地

qq_39325964的博客

08-05

1083

使用huggingface-cli 来下载，这个工具是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。我使用的OS是：CentOS Linux release 7.9.2009 (Core)

huggingface 下载模型和数据集方法与位置（linux服务器）

frontiers的博客

05-20

1万+

如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。

Linux上利用镜像下载huggingface模型或数据集

Bizarre_space的博客

12-05

919

模型ID和数据集名称只需点击huggingface上的复制即可。需登录huggingface，点击右上角头像->输入保存的huggingface token。记得保存下来，以便后续使用。

如何在linux远程服务器上直接下载huggingface官网的模型/数据集

m0_58173553的博客

07-20

9572

在AI领域如nlp/cv等，做实验的时候经常会用到huggingface上各种开源的模型，同时也需要远程服务器（如实验室的服务器）的支持，才能有合适的算力并开展实验。本人目前也是nlp方向的新入门的小白，方法也都是网上查来的，浅浅记录一下在远程服务器上下载huggingface的模型和数据集的全过程。具体使用的是huggingface-cli，属于huggingface_hub库，这是HuggingFace官方提供的命令行工具，属于官方工具，那各方面的肯定很完善。下载模型，具体用法如下。

DeepSeek 2.5本地部署的实战教程

herosunly的博客

09-22

19万+

本文主要介绍了DeepSeek 2.5本地部署的实战教程，希望对学习大语言模型的同学们有所帮助。文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行DeepSeek 2.5 3.1 简单测试 3.2 启动API服务

LLaMA Factory多卡微调的实战教程（持续更新）

最新发布

q_q王的博客

07-31

596

人活一辈子，最神奇的感受就是：明明大家身处同样的世界，头顶同样的蓝天，脚踏同样的大地，呼吸着同样的空气……这就是我通常下载huggingface上面模型的方法，本人通常使用第一种，简单快捷，如果大家在使用的过程中有什么问题的话欢迎留言，大家一起讨论学习。搭建环境，跑项目的时候经常要去上面下载模型，有些项目会自动下载，但是有些需要自己下载，这些需要自己下载的模型大家都是怎么下载的呢？起初，我不知道如何下载，都是使用的最笨的方法，打开huggingface的模型地址，一个一个手动下载。我最近经常使用这个方法。

大专学历适合ai大模型学习路线

06-19

<think>我们正在讨论大专学历背景学习AI大模型的学习路线。根据引用内容，我们可以提取以下关键信息：-引用[1]提到系统学习的重要性，避免资料杂乱无章。-引用[2]指出大模型相关岗位包括数据分析、大模型生成结果判定、辅助大模型逻辑推理等。-引用[3]强调分享AI大模型资料，包括学习思维导图、书籍、视频教程等。-引用[4]则通过案例说明，在职提升学历（如在职硕士）可以结合现有经验转型，并带来薪资增长。结合用户问题“大专学历ai大模型学习路线推荐”，我们需要设计一条适合大专背景的学习路径，强调循序渐进和实战导向。步骤：1.夯实基础：大专学历通常计算机和数学基础相对薄弱，需要先补足基础。-数学基础：线性代数、概率论、微积分（基础概念即可，不必过于深入）-编程基础：Python是必须的，重点掌握数据结构、常用库（如NumPy,Pandas）-计算机基础：操作系统、网络基础2.进阶学习：-机器学习基础：了解常用算法（如线性回归、决策树、SVM等）-深度学习基础：神经网络、反向传播、CNN/RNN等3.大模型专项：-NLP基础：文本处理、词向量、序列模型-大模型核心：Transformer架构、预训练方法（如BERT,GPT系列）-微调技术：PromptTuning,LoRA等高效微调方法-应用实践：使用HuggingFace等工具进行模型微调和部署4.项目实战：-参与实际项目，如构建一个简单的聊天机器人、文本分类等-在Kaggle等平台参加竞赛5.持续提升：-考虑在职学历提升（如在职硕士，引用[4]案例）以增强竞争力-关注行业动态，持续学习考虑到大专背景，建议路线要突出：-实践优先：避免过多理论，多动手做项目-资源利用：利用引用[3]提到的免费资源（思维导图、书籍、视频教程）-岗位导向：针对引用[2]提到的岗位（如数据标注、模型评估等初级岗位切入）学习资源推荐：-免费资源：引用[3]中提到的AI大模型入门学习思维导图、书籍、视频教程-在线课程：Coursera上的机器学习课程（AndrewNg）、HuggingFace官方教程-书籍：《动手学深度学习》（PyTorch版）、《自然语言处理入门》时间规划（建议1-2年）：-第1-3个月：基础补足（Python、数学基础）-第4-6个月：机器学习和深度学习基础-第7-12个月：大模型专项学习和项目实战-第2年：深入某个方向，并考虑在职学历提升注意事项：-不要一开始就钻研大模型理论，从应用入手-多参与开源项目，积累经验-初期可瞄准大模型相关初级岗位（如数据标注、模型评测），逐步转向研发最后，鼓励用户：引用[4]中32岁前端工程师成功转型案例，说明通过系统学习和在职提升，大专背景同样可以进入AI大模型领域。</think>针对大专学历学习AI大模型的学习路线，结合行业需求和可操作性，推荐以下分阶段路径： ### 一、基础巩固阶段（3-6个月） 1. **数学基础** - 重点掌握：线性代数（矩阵运算）、概率论（贝叶斯定理）、微积分（梯度概念） - 学习资源：MIT《线性代数》公开课 + 吴恩达《机器学习》数学复习模块 $$ \nabla J(\theta) = \frac{\partial}{\partial \theta_j}J(\theta) \quad \text{(梯度计算核心公式)} $$ 2. **编程能力** - 必学内容： - Python编程（NumPy/Pandas库） - Linux基础命令 - Git版本控制 - 实战项目：用Python实现数据分析脚本（如电商用户行为分析） 3. **计算机基础** - 操作系统原理（进程/内存管理） - 计算机网络（HTTP/TCP协议） - 数据库基础（SQL语法） ### 二、AI核心技能阶段（6-8个月） 1. **机器学习入门** - 掌握经典算法：决策树、SVM、聚类（K-means） - 工具使用：Scikit-learn库实战 ```python from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier() model.fit(X_train, y_train) ``` 2. **深度学习基础** - 神经网络原理（前向/反向传播） - 框架学习：PyTorch或TensorFlow - 实战：手写数字识别（MNIST数据集） 3. **NLP专项突破** - 核心技术： - 词嵌入（Word2Vec） - 序列模型（LSTM/GRU） - Transformer架构（核心！） $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ ### 三、大模型进阶阶段（持续学习） 1. **大模型技术栈** - 预训练模型：BERT/GPT原理剖析 - 微调技术：LoRA/P-Tuning实践 - 工具链：Hugging Face Transformers库 2. **项目实战** - 初级：文本分类/情感分析 - 进阶： - 构建问答系统 - 模型蒸馏优化 - 参考工业级解决方案[^2] 3. **持续成长路径** - 参与开源项目（如中文大模型社区） - 考取认证：AWS/Azure AI工程师证书 - 在职学历提升：申请计算机相关在职硕士（转型成功率提升120%案例[^4]） ### 关键资源推荐 - **免费资源包**：AI大模型学习思维导图+实战视频（引用[3]） - **必读书籍**：《动手学深度学习》《Natural Language Processing with Transformers》 - **社区平台**：Kaggle竞赛、阿里云天池 > **特别建议**：初期可瞄准大模型应用层岗位（如数据标注、生成结果判定[^2]），积累经验后再向研发岗转型。每日保持2-3小时系统学习，配合项目实践，2年内可实现岗位转换。