通过huggingface-cli下载数据集

原创

已于 2024-08-09 17:04:50 修改 · 2.3k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #数据库

于 2024-08-08 21:57:37 首次发布

1.获取huggingface的token

从这里地址获取

2. 安装依赖

 pip install huggingface_hub

huggingface-hub自带了huggingface-cli

3. 下载数据集

开启镜像网站并加速：

export HF_ENDPOINT=https://hf-mirror.com  # 镜像网站
export HF_HUB_ENABLE_HF_TRANSFER=1  # 开启加速

下载：

huggingface-cli download -

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小灰灰的Yang

关注关注

13
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

huggingface-cli下载数据（含下载指定数据教程）

l8947943的博客

12-06

7462

可以理解为配置下载对应文件时候要使用的源。如果要避免这个情况，请将上面这一行写入Linux中的。表示下载指定数据目录，以safetensors结尾的，不下载.bin结尾的文件。注意：使用wget命令并不会得到下载好的大文件内容，这点需要注意。为什么会要这么做，tmd下载一半电脑挂了，头大。上述配置环境变量代码，每次下载前均需要配置。Windows环境没测试过。wikitext文件夹中。

huggingface-cli下载数据（含国内镜像源方法）

最新发布

Criss@陈磊

07-02

222

默认会下载到.cache文件夹，我平时并不是很习惯管理默认的在opt下.cache目录，因此我常常会加上一个cache目录的参数(./myspace/dataset换成你自己的存储目录）按照下面的提示，需要输入haggingface下的access token，这个需要再huggingface的也没我的下面，点击access token功能菜单。有很多种从huggingface上下载dataset的办法，我比较喜欢使用haggngface cli。下载Dataset，可以使用如下命令。

下载hugging face上的数据集

m0_55703957的博客

02-03

3603

输入这个命令即可下载：huggingface-cli download --repo-type dataset --token 你的token uoft-复制的数据集名 --local-dir 存放位置 --resume-download。当搜索数据集之后，浏览器给出的回答中包含hugging face，如果想使用hugging face上的数据集，按照下面的步骤即可成功下载(我使用的是Linux）然后找到数据集的名字：(这里我随便找了一个)直接点旁边的复制符号。

使用 huggingface-cli 下载模型或数据集需要注意的点

m0_57057282的博客

04-09

1381

比如下载llama2-7b，但是这个是受保护的，需要你用你登录的账号去申请一下，通过了才可以下载。huggingface-cli login（登录需要输入你的token，token值可以在。1.首先要pip install huggingface-cli。然后下载你想要下载的模型。

国内如何下载huggingface模型、数据集

tangsiqi130的博客

03-18

8473

国内如何下载huggingface模型、数据集

下载huggingface中数据集/模型(保存到本地指定路径)

MK422的博客

03-30

2万+

1.若需要将数据集/模型放在指定路径，需要指定"cache-dir"参数，而不是“local-dir”2.直接从huggingface中下载对应的模型和数据集，需要外网。因此可以使用国内镜像“HF-Mirror - Huggingface 镜像站。

huggingface-cli下载数据集

02-14

### 使用 `huggingface-cli` 下载数据集 为了下载 Hugging Face 上的数据集，可以利用命令行工具 `huggingface-cli` 提供的功能。具体操作如下：安装并配置好环境之后，在终端输入带有相应参数的指令来获取所需...

huggingface-cli命令下载数据集

03-23

好的，我现在需要回答用户关于如何使用huggingface-cli命令下载数据集的问题。首先，我得确保自己对这个命令的使用方法有正确的理解。记得Hugging Face提供了多种方式来访问数据集，比如通过Python库中的load_...

huggingface-cli 命令下载数据集

03-28

通过huggingface-cli，你可以方便地从命令行中下载数据集。要使用huggingface-cli下载数据集，你可以按照以下步骤进行操作： 1. 首先，确保你已经安装了huggingface-cli。你可以使用pip命令进行安装： ``` pip ...

从huggingface上下载数据集具体步骤

David_house的博客

06-30

3万+

最近需要从huggingface上下载一个数据集，发现不能像模型那样能直接点击下载，需要通过代码来获取，很麻烦，谨以此博客作为记录

huggingface下载需要验证的数据集/模型

weixin_47215499的博客

11-29

593

huggingface下载数据集

HuggingFace datasets - 下载数据

小田的笔记簿

12-21

1190

下载数据修改默认保存地址 TRANSFORMERS_CACHE 保存到本地 & 本地加载保存加载读取 `.arrow` 数据

国内huggingface下载模型、数据集

weixin_52093355的博客

04-19

1759

最近再跑代码，huggingface下载模型、数据集怎么都安装不了，命令老报错超时提示：以下是本篇文章正文内容，下面案例可供参考挺好的一个平台，可惜需要一些手段使用。

huggingface下载数据和模型，部分下载，本地缓存等常见问题踩坑

Hello World

05-01

2778

注：系统环境为windows11 23H2，macOS和Linux用户可以查看下【参考】里的链接文档，差异不大。

如何快速下载huggingface模型

weixin_43196262的博客

12-28

5万+

国内开源镜像上面总结了多种从上下载模型的方法，如下图。

『PyTorch学习笔记』如何快速下载huggingface模型/数据—全方法总结

AI新视界

12-07

4784

如何快速下载huggingface模型/数据—全方法总结。

huggingface下载数据集方法记录

weixin_61801405的博客

10-28

1995

注：运行后环境回到默认的base，需要再次输入conda activate --name激活环境。1.获取huggingface的token。