来训练场看我击靶-优快云博客

原创 6.多项选择

本文介绍了基于Hug MEL Transformers框架的多选题处理流程。主要内容包括：1方式处理原始数据，将每个文本复制4份对应4个选项；2)使用tokenizer处理文本和问题选项组合，对不足4个选项的补"不懂"选项；3)重新组织数据格式使其符合模型输入要求；4)定义评估函数计算准确率；5)配置训练参数进行模型训练。该方法能有效处理多选题场景，当选项超过4个时跳过，不足时自动补齐vid_article。文中代码来源于B站UP主教程，强调需先观看视频理解基本原理。

2025-10-02 15:48:54 337

原创 5.2、机器阅读理解（滑动窗口式）

本文介绍了基于HuggingFace Transformers的问答系统实现方法。重点讲解了数据预处理环节，采用滑动窗口技术对长文本进行切分处理（窗口长度256，步长32），并详细说明了如何通过offset mapping精确定位答案位置。在评估阶段，使用get_result函数从多个切分片段中选取最优预测结果，通过比较start_logits和end_logits的加权得分确定最佳答案。文章还提供了完整的process函数实现，包括样本映射、答案位置计算等关键步骤，最后给出了训练参数配置（batch_si

2025-09-26 15:11:49 1838

原创 5.1、机器阅读理解（截断式）

本文介绍了基于HuggingFace Transformers的问答系统实现流程。首先加载数据集并查看样本结构，重点处理答案在文本中的字符位置标注。通过tokenizer预处理数据，利用offset_mapping将字符位置映射到token序列，找到答案对应的token起止位置。然后构建问答模型，设置训练参数进行训练。实验表明，增大max_length能提升效果，但需要平衡计算资源。整个过程展示了如何将原始文本数据转换为模型可处理的格式，并完成问答任务的训练与评估。

2025-09-17 22:00:57 1616

原创 04、命名实体识别（TokenClassification）

该文章介绍了使用HuggingFace Transformers进行命名实体识别(NER)的完整流程。首先导入相关库和数据集，对数据进行预处理，包括使用tokenizer分词并处理标签映射问题。然后创建模型和评估函数，定义训练参数和训练器进行模型训练。最后通过pipeline进行测试，并解决了实体识别结果中的空格问题，通过设置aggregation_strategy和使用起止索引将同一实体合并输出。整个过程涵盖了数据处理、模型训练和结果优化等关键步骤，为NER任务提供了完整解决方案。

2025-09-14 21:43:54 747

原创 3 、从一个demo开始学习HuggingFace

本文介绍了使用HuggingFace Transformers进行中文文本分类的实战流程。首先加载ChnSentiCorp数据集并进行预处理，使用AutoTokenizer进行文本编码。然后构建基于预训练模型（hfl/rbt3）的分类器，配置训练参数（batch_size、学习率等）和评估指标（准确率、F1值）。最后通过Trainer类完成模型训练、评估和预测。整个过程展示了HuggingFace库在NLP任务中的高效应用，包括数据处理、模型训练和性能评估等关键步骤。

2025-09-04 16:48:20 691

原创 2、Vit代码

本文介绍了基于B站up主霹雳吧啦Wz的Vision Transformer（ViT）实现代码分析。主要内容包括：1）图像分块嵌入模块（PatchEmbed）将224x224图像分割为14x14的768维特征；2）可学习的位置编码和类别标记（cls_token）设计；3）12层Transformer编码器结构，包含多头注意力、MLP和随机深度衰减（drop_path）机制；4）预分类层（Pre-logits）和最终的线性分类头实现。特别说明了drop_path与dropout的区别，以及如何通过随机深度衰减规

2025-08-16 15:35:23 367

原创 1、Transformer学习笔记

本文介绍了基于Transformer架构的序列翻译模型实现细节，主要包括以下几个部分：1. 数据预处理：使用词嵌入（Embedding）将输入序列映射为32维向量，并添加正弦/余弦位置编码。2. 编码器实现：采用多头注意力机制（4个头），包含层归一化和残差连接，通过mask屏蔽填充符。3. 解码器实现：包含自注意力（使用三角mask防止信息泄露）和交叉注意力（连接编码器输出），同样采用层归一化和残差结构。4. 输出层：通过全连接层将32维特征映射到39个词的词表空间。文章详细解释了位置编码公式、多头注意力拆

2025-08-15 14:18:01 1349 1

qq_54526411的博客