Huggingface 一键迁移 Modelscope 工具

用法

使用 hf-ms-transfer 迁移 Huggingface 模型、数据集到 modelscope 平台：

安装

pip install hf-ms-transfer # install 

迁移

hf-ms-transfer "hf-user/hf-package" --ms-token "modelscope_token" --ms-name "modelscope_user_name" # transfer 

# example: hf-ms-transfer "stanfordnlp/imdb" --ms-token "02342424-0g23-254c-9f9a-f23fasdfafaf" --ms-name "Qwen"

可以从 ModelScope个人中心 获取 用户名（左上角）和 个人token（SDK/API 令牌）

主要功能

hf-ms-transfer 支持:

• 同时支持模型和数据集
• 支持在单个命令中迁移多个模型和数据集
• 解决数据集迁移后 load_dataset 失败问题
• 可自定义在 ModelScope 上的仓库名称

Bonus

默认情况把数据集下从 huggingface 迁移到 modelscope 之后，load_dataset 函数会遇到以下错误

TypeError: Value.__init__() missing 1 required positional argument: 'dtype'

是多余的 dataset_infos.json 文件导致，把数据集中该文件删除即可。

使用 hf-ms-transfer 迁移会默认解决该问题，如果需要保留该文件也可以通过传入参数来实现。

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获取

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获

四、AI大模型商业化落地方案

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。