【Transformers源码】degbug model tips

已于 2024-05-26 01:11:44 修改
阅读量507 收藏 8
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Transfromers 文章标签： 人工智能 深度学习 llama 语言模型
于 2024-05-26 00:49:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/OldButSimple/article/details/139206226

【Transformers源码】快速debug model tips

  debug源码可以更快速高效的学习model，是不是要等模型文件下载完，才能debug，等待下载LLM的模型文件是不是内心有那么亿丢丢的焦灼…

一、蠢哭自己的方法

  笔者一直用的蠢哭了的方法，分为三步

  • huggingface官网下载model文件
  • 写代码加载模型
  • debug源码
    from transformers import AutoModel, AutoTokenizer
# 加载模型和分词器
model_path = "****/chinese-roberta-wwm-ext"
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
# 处理文本
input_txt = "甄天真真天真"
encode_dict = tokenizer(
    [input_txt],
    return_tensors="pt",
<
最低0.47元/天 解锁文章

200万优质内容无限畅学
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 模型推理(Infer) 教程 (1)
AGI
10-10 1418
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
自动检索、修复Python代码bug，微软推出DeepDebug
zandaoguang的博客
08-12 400
视学算法报道机器之心编辑部还在为不断的 debug 代码烦恼吗？本地化 Bug 并修复程序是软件开发过程中的重要任务。在本篇论文中，来自微软 Cloud+AI 部门的研究者介绍了 Deep...
7 Papers & Radios | Transformer自动debug；AI合成舞蹈落地应用
深度学习技术前沿
05-31 1328
来源：机器之心 & ArXiv Weekly Radiostation参与：杜伟、楚航、罗若天本周的重要论文包括来自微软 Cloud+AI 部门的 DeepDebug，一种使用大型...
[转载] Transformer debug 专用代码
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
12-17 372
.
Elm Debug Transformer 使用指南
gitblog_00864的博客
08-24 720
Elm Debug Transformer 使用指南 一、项目目录结构及介绍 Elm Debug Transformer 是一个用于增强 Elm 应用程序调试体验的开源工具。以下是其基本的目录结构和关键组件介绍： elm-debug-transformer ├── src │ ├── Main.elm # 主入口文件，负责启动转换服务 │ └── ... ...
模型部署时的调试技巧，debug方法
Rolandxxx的博客
11-11 1076
【代码】模型部署时的调试技巧，debug方法。
Bert简介以及Huggingface-transformers使用总结
shawnchang777的博客
02-20 4281
目录一、 Bert模型简介 1. bert预训练过程 2. bert输入二、Huggingface-transformers笔记 1. 安装配置 2. 如何使用  项目组件参考文章 一、 Bert模型简介   2018年Bert模型被谷歌提出，它在NLP的11项任务中取得了state of the art 的结果。Bert模型是由很多层Transformer结构堆叠而成，和Attention模型一样，Transformer模型中也采用了 encoer-decoder 架构。但其结构相比于Attention
wav2vec2踩坑之旅5：如何制作一个transformers的数据集
starinline的专栏
03-30 2900
wav2vec2踩坑之旅5：如何制作一个transformers的数据集 摘要 本文记录了制作transformers数据集的主要过程，以thch30中文ASR数据集为例，模仿librispeech的格式，可用于wav2vec2模型的finetune过程。本文主要解决2个核心问题： 如何在transformers中自定义数据集？ 如何使用本地数据集？ 本文按照官方数据集添加向导踩坑，愿对诸君有所帮助。 文章目录wav2vec2踩坑之旅5：如何制作一个transformers的数据集摘要1.制作SLR18
pycharm调试transformers(hugging face)的模型
pp2373886592的博客
11-18 713
使用pycharm，远程调试服务器上的代码时，transformer的代码跳转不进去，会失败。，其中usr和model_name按自己的配置进行替换，model_name为加载的huggingface模型。3、将原来的huggingface的模型定义代码替换为刚刚复制的代码中的模型，例如将。2、把路径下的py文件复制到自己的代码的文件夹下。4、单步调试时就可以进入模型的内置函数了。在第2步里复制的py文件里找。
使用vscode调试transformers源码
goodgood_UP的博客
02-19 409
优先参考官方手册。
使用Transformers库进行模型推理和微调
python1234_的博客
11-25 2774
Transformers库提供了模型推理、微调能力，大大简化了使用模型的复杂度和难度。​。
Transformer 详解
周红伟讲AI
02-15 2675
Transformer 是谷歌大脑在 2017 年底发表的论文attention is all you need中所提出的 seq2seq 模型。现在已经取得了大范围的应用和扩展，而 BERT 就是从 Transformer 中衍生出来的预训练语言模型 这篇文章分为以下几个部分 Transformer 直观认识 Positional Encoding Self Attention Mechanism 残差连接和 Layer Normalization Transformer Encoder ..
DingoApi之Transformer类一次愚蠢的错误调试
Focus
04-01 818
第一次使用DingoApi，Transformer类不起作用。 这是RoleTrasnformerclass namespace App\Api\V1\Transformers; use League\Fractal\TransformerAbstract; use App\Role; class RoleTransformer extends TransformerAbstract...
View Transform（视图变换）详解
weixin_33725722的博客
07-12 586
什么是View Transform 我们可以用照相机的原理来阐释3D图形的绘制过程，想象一下，我们在摄影的时候都需要做哪些工作，大致可分为如下几个步骤 摆放好待拍摄的物品，或者人物。 调整好拍摄角度。 调整焦距。 拍摄。 好了，来分析一下，上面的第一步就相当于世界变换了，将一个模型置于一个公认的坐标系中，这里所谓的公认，也就是大家都遵守的，目的是保证待拍摄的物体和照相机在同一个...
Datawhale 科大讯飞AI大赛（模型蒸馏）
1ncludeSteven
07-27 525
使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。
跨境支付入门～国际支付结算（风控篇）
lkf19711的博客
07-25 1282
跨境支付企业的"吞金兽"：风控系统成为最大成本黑洞。这类系统需采购海量第三方数据（年费超千万），并应对国际卡组织的高额合规要求（如VISA系统年增300万美元成本）。核心防控AML（反洗钱）和CFT（反恐融资）风险，通过四阶KYC认证体系（证件核验到持续监控）和KYB企业审查（股权穿透到贸易背景验证）。采用AI检测（准确率98.7%）、知识图谱等技术，并实施分级审核策略（CDD/EDD）。风控系统需融合3000+规则引擎和机器学习模型，实现全流程监控，是跨境支付企业的生死线。
AI模型训练中过拟合和欠拟合的区别是什么？
最新发布
workflower的博客
07-28 381
定义：模型未能充分学习到数据中的规律，对训练数据的拟合程度较差，在训练集和测试集上的表现都不好（如准确率低、损失值高）。- 定义：模型过度学习了训练数据中的细节（包括噪声和随机波动），导致对训练数据拟合效果极好，但对未见过的测试数据泛化能力差。- 表现：训练集性能极好（如准确率接近100%），但测试集性能明显下降，两者差距很大。- 表现：训练集和测试集的性能指标（如准确率）都较低，且两者差距不大。- 过拟合：模型“学太死”，只对训练数据表现好，对新数据没用。- 模型结构过于复杂（如参数过多）；
RoPE：相对位置编码的旋转革命——原理、演进与大模型应用全景
拒绝AI玄学，只聊真技术▲
07-26 1785
RoPE通过几何旋转的统一框架，实现了位置编码的相对性、可逆性与外推性的平衡，成为大模型位置感知的基石技术。跨模态统一：N维李群框架支撑视频、3D点云位置建模动态频率学习：替代预设θbaseθbase​，实现任务自适应编码鲁棒性增强：融合FoPE思想抵抗深层频谱损坏RoPE的本质是将位置关系映射为复数空间的旋转群——它不仅是Transformer的“位置感知器”，更是AI理解时空的数学透镜。当旋转矩阵的维度从文本扩展到图像、视频乃至物理世界，位置编码的数学之美正在重构AI对世界的认知方式。
transformers源码下载
02-15
### 下载 Hugging Face Transformers 库的完整源代码 为了获取 Hugging Face Transformers 的完整源代码，可以通过克隆其 GitHub 仓库来完成这一操作。具体方法如下： #### 使用 Git 克隆仓库 通过终端或命令提示符执行以下命令可将最新的主分支代码克隆到本地计算机上。 ```bash git clone https://github.com/huggingface/transformers.git ``` 这会创建一个名为 `transformers` 的文件夹，其中包含了该项目的所有源代码以及文档等内容[^2]。 如果希望下载特定版本而不是最新开发版，则可以在浏览器中访问 [Hugging Face Transformers GitHub 页面](https://github.com/huggingface/transformers)，找到并点击 Releases 部分选择所需版本进行下载；或者继续使用 git 命令指定标签名检出相应版本: ```bash cd transformers git checkout v4.18.0 # 将 "v4.18.0" 替换为你想要的具体版本号 ``` 这样就可以获得指定版本的完整源代码了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值