深入解析Transformers库中tokenizer.encode()的工作原理与实战应用

Hugging Face Transformers v5 Tokenizer 升级指南:统一Rust引擎与可调试Pipeline Tokenizer 是大语言模型输入处理的核心组件,其本质并非简单的文本转ID,而是一套包含归一化、预分词、子词建模、后处理与解码的标准化流水线。随着 Hugging Face Transformers v5 发布,tokenizer 实现全面统一为 Rust 加速引擎,废弃 Python 慢版,同时将 Normalizer、Pre-tokenizer、Model、Post-processor 和 Decoder 五大阶段完全暴露并标准化。这一重构显著提升了 tokenization 的确定性、可调试性与跨 阅读详情

1. 从“Hello World”到模型输入:tokenizer.encode() 到底在做什么?

如果你刚开始接触 Hugging Face 的 Transformers 库,大概率会看到这样一行“魔法”代码:

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
input_ids = tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)

这短短三行代码,就把一句人话变成了模型能“吃”下去的数字序列。但你想过没有,这背后到底发生了什么?encode() 方法是不是像变魔术一样,直接把文本变没了,然后变出一串数字?今天我就带你扒开这层“魔法”的外衣,看看 tokenizer.encode() 这个我们每天在用的工具,内部究竟是怎么运转的。

简单来说,tokenizer.encode() 干的就是 文本到数字的“翻译”工作。但这个翻译不是简单的查字典,它融合了分词、添加特殊标记、长度控制、填充截断等一系列标准化操作,目的是把千变万化的自然语言文本,变成格式统一、模型期待的输入张量。你可以把它想象成一个高度智能的“文本预处理流水线”,你扔进去一句 raw text,它吐出来的就是可以直接喂给 BERT、GPT-2 这些模型的 input_ids。

我刚开始用的时候也犯过迷糊,觉得 tokenizer.tokenize() 出来的也是分词结果,干嘛还要用 encode()?后来在项目里踩了坑才明白,tokenize() 只是第一步,它给你的是切分好的词元(tokens)列表,比如 ['hello', ',', 'my', 'dog', 'is', 'cute']。但模型要的是这些词元在词汇表里对应的 ID,而且通常还需要在开头加上 [CLS],在句子结尾或句子之间加上 [SEP]。encode() 方法就是帮你把“分词”和“转ID”这两步,甚至更多步,打包完成的一站式服务。对于追求效率、不想在预处理上花太多时间的开发者来说,它绝对是首选。

2. 庖丁解牛:encode() 与 tokenize() 的核心区别与内部流水线

2.1 一个例子看清本质区别

咱们不看枯燥的定义,直接上代码对比,这是理解它们区别最快的方式。假设我们处理句子 "Hello, my son is cuting.":

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
sentence = "Hello, my son is cuting."

# 方法一:使用 encode(),一步到位
input_ids_encode = tokenizer.encode(sentence, add_special_tokens=True)
print("encode() 输出:", input_ids_encode)
# 输出类似: [101, 7592, 1010, 2026, 2365, 2003, 3013, 2075, 1012, 102]

# 方法二:使用 tokenize() + convert_tokens_to_ids(),分步进行
tokens = tokenizer.tokenize(sentence)
print("tokenize() 输出:", tokens)
# 输出: ['hello', ',', 'my', 'son', 'is', 'cut', '##ing', '.']

input_ids_tokenize = tokenizer.convert_tokens_to_ids(tokens)
print("分步得到的ID:", input_ids_tokenize)
# 输出: [7592, 1010, 2026, 2365, 2003, 3013, 2075, 1012]

看出门道了吗?第一,输出内容不同。 encode() 返回的是已经包含了特殊标记 [CLS] (ID:101) 和 [SEP] (ID:102) 的 ID 列表,而 tokenize() 仅仅做了分词,得到的是原始的词元字符串。第二,输出层次不同。 encode() 输出的是模型直接需要的数字 ID(张量的基础),而 tokenize() 输出的是中间产物——字符串形式的词元。

更有趣的是第二个输出里的 'cut' 和 '##ing'。这就是 BERT 使用的 WordPiece 分词算法在起作用。它会把不在基础词表里的长词(如 “cuting”)切分成更小的、在词表里存在的子词单元(“cut” 和 “##ing”),其中 “##” 表示这个子词是接在前一个词后面的。tokenize() 把这个过程直观地展示了出来,而 encode() 则默默处理了这一切,直接给出了最终ID。

2.2 潜入源码:encode() 的“一站式”流水线

那么 encode() 内部是怎么实现“一站式”服务的呢?我们不妨顺着源码的思路捋一捋(以下基于 Transformers 库典型结构进行解读,非逐行源码):

当你调用 tokenizer.encode(text, ...) 时,它实际上是一个快捷方式。它的核心是调用了另一个更强大的方法 encode_plus()。你可以把 encode() 理解为 encode_plus() 的简化版,只返回 input_ids 这一项。

在 encode_plus() 内部,一条标准的处理流水线启动了:

  1. 分词 (Tokenization): 调用 tokenize() 方法,将文本按模型指定的算法(如 WordPiece for BERT, Byte-Pair Encoding for GPT-2)切分成词元列表。
  2. 转换为ID (Convert to IDs): 调用 convert_tokens_to_ids(),将每个词元映射到词汇表中对应的整数 ID。
  3. 添加特殊标记 (Add Special Tokens): 如果 add_special_tokens=True(默认),则在序列开头插入 [CLS] 的 ID,在结尾插入 [SEP] 的 ID。对于句子对任务,还会在两句之间插入 [SEP]。
  4. 长度管理 (Length Management): 根据 max_length 和 truncation_strategy 参数,决定是否以及如何截断过长的序列。
  5. 填充 (Padding): 如果 pad_to_max_length=True,会将序列填充到指定的 max_length。
  6. 生成注意力掩码 (Attention Mask): 创建一个与 input_ids 等长的掩码,1 表示真实 token,0 表示填充 token。
  7. 生成 token_type_ids (Segment IDs): 对于像 BERT 这样的模型,还会生成标记句子归属的 token_type_ids(第一句全0,第二句全1)。
  8. 格式转换 (Format Conversion): 根据 return_tensors 参数,将列表转换为 PyTorch ('pt') 或 TensorFlow ('tf') 张量。

encode() 只返回了第2、3步(及可能的第4步)后的结果——input_ids。而 encode_plus() 则返回一个字典,包含 input_ids, attention_mask, token_type_ids 等所有信息。所以,当你的模型需要注意力掩码或句子标识时,直接用 encode_plus() 或 tokenizer()(__call__ 方法)会更方便。

3. 实战精讲:encode() 关键参数如何影响你的模型输入

知道 encode() 是什么之后,更重要的是知道怎么用它。它的每个参数都像是一个旋钮,调对了,模型输入质量高,训练推理都顺畅;调错了,轻则效果打折,重则直接报错。下面我结合自己踩过的坑,给你讲讲几个最关键参数的实际用法。

3.1 特殊标记开关:add_special_tokens

这个参数默认为 True,但你真的需要理解它加的是什么。

  • 对于 BERT/RoBERTa 等: 添加 [CLS] 和 [SEP]。[CLS] 常用于分类任务,[SEP] 用于分隔句子。
  • 对于 GPT/GPT-2 等生成模型: 添加 <|endoftext|> 等作为序列开始或结束的标记。
  • 对于 T5 等: 可能有特定的前缀标记。

什么时候该关掉它? 当你进行 拼接操作 时。比如你想手动构造一个句子对 "句子A[SEP]句子B",你需要先分别对两个句子编码 不添加特殊标记,然后手动拼接ID,并在整体加上 [CLS] 和 [SEP]。

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
sent_a = "How are you?"
sent_b = "I'm fine, thanks."

ids_a = tokenizer.encode(sent_a, add_special_tokens=False)
ids_b = tokenizer.encode(sent_b, add_special_tokens=False)

# 手动构造 BERT 输入: [CLS] + A + [SEP] + B + [SEP]
input_ids = [tokenizer.cls_token_id] + ids_a + [tokenizer.sep_token_id] + ids_b + [tokenizer.sep_token_id]
print("手动拼接的 input_ids:", input_ids)
# 对比直接使用 text_pair 参数
encoded = tokenizer.encode_plus(sent_a, sent_b, add_special_tokens=True)
print("encode_plus 生成的 input_ids:", encoded['input_ids'])
# 两者结果应该一致

3.2 长度控制双雄:max_length 与 truncation_strategy

模型有最大长度限制(如 BERT 通常是 512)。超长序列必须处理。

  • max_length: 设定序列最大总长度(包括特殊标记)。如果不设置,默认使用模型最大长度。
  • truncation_strategy: 指定截断策略。这在处理句子对时尤为重要。
    • 'longest_first' (默认): 从总长度更长的那个句子中逐个移除 token,直到满足 max_length。这尽可能保留了信息。
    • 'only_first': 只截断第一个句子。
    • 'only_second': 只截断第二个句子。
    • 'do_not_truncate': 不截断,超长就报错。

实战建议:对于单句分类,用默认设置就好。对于问答或句子对任务,要仔细考虑截断策略。比如在抽取式问答中,答案可能在上下文末尾,使用 'only_first' 截断问题而保留完整上下文可能更合理。

long_context = "这是一个非常长的上下文文档..." # 假设长度超过500
question = "问题是什么?"

# 不好的做法:可能截断掉包含答案的部分
bad_ids = tokenizer.encode(question, long_context, max_length=512, truncation='longest_first')

# 更好的做法:优先保证上下文完整(如果问题通常很短)
good_ids = tokenizer.encode(question, long_context, max_length=512, truncation='only_first')

3.3 填充与张量返回:pad_to_max_length 和 return_tensors

训练时,一个 batch 内的样本必须等长,所以必须填充。

  • pad_to_max_length=True: 会将所有序列填充到 max_length。
  • 更常见的做法:在后续使用 DataCollatorWithPadding,它动态地按 batch 内最长序列进行填充,更节省内存。
  • padding_side: 可以通过 tokenizer.padding_side = 'left' 或 'right' 控制填充方向。GPT 类自回归模型通常从右向左生成,所以需要 left 填充。

返回格式:

  • return_tensors=None (默认): 返回 Python 列表。
  • return_tensors='pt': 返回 PyTorch 张量,直接可用于模型。
  • return_tensors='tf': 返回 TensorFlow 张量。

一个常见的坑:直接使用 encode() 得到列表,然后自己转张量时,忘了处理填充和注意力掩码。最佳实践是,在训练循环中,对 batch 文本直接使用 tokenizer(text_list, padding=True, truncation=True, return_tensors="pt"),它会返回包含 input_ids、attention_mask 的字典,直接解包给模型。

# 推荐的数据处理方式
from transformers import DataCollatorWithPadding
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

# 假设 dataset 的每个样本有 "text" 字段
def tokenize_function(examples):
    return tokenizer(examples["text"], truncation=True) # 这里不填充!

tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)
# 在 DataLoader 中使用 data_collator 进行动态填充

4. 进阶:针对不同模型架构(BERT vs GPT-2)的 encode() 调优

虽然 encode() 的 API 是统一的,但底层不同的 Tokenizer 类(BertTokenizer, GPT2Tokenizer, T5Tokenizer 等)有不同的词汇表、特殊标记和分词算法。了解这些差异,能让你更好地为不同模型准备数据。

4.1 BERT 系列:WordPiece 与句子对处理

BERT 使用 WordPiece 分词,词汇表规模约3万。它的特殊标记包括:

  • [CLS]: 分类标记,位于句首。
  • [SEP]: 分隔标记,用于分隔句子或表示句尾。
  • [PAD]: 填充标记。
  • [UNK]: 未知词标记。
  • [MASK]: 掩码标记,用于预训练。

使用 encode() 处理句子对时,有两种等效方式:

# 方式一:使用 text_pair 参数(推荐)
encoded = tokenizer.encode_plus("Sentence A", "Sentence B", add_special_tokens=True)
# 方式二:手动拼接字符串(需注意空格)
encoded2 = tokenizer.encode_plus("Sentence A [SEP] Sentence B", add_special_tokens=True)
# 注意:方式二需要确保 [SEP] 被 tokenizer 正确识别为一个特殊标记,而不是普通文本。

注意点:BERT 的 token_type_ids(也叫 segment_ids)对于句子对任务是至关重要的,它告诉模型每个 token 属于哪个句子。encode_plus() 会自动生成它。

4.2 GPT-2 系列:Byte-Pair Encoding (BPE) 与因果语言模型

GPT-2 使用 Byte-Pair Encoding (BPE) 分词,词汇表更大(例如 5万)。它的特殊标记不同:

  • <|endoftext|>: 文本开始/结束标记,功能上类似 BERT 的 [CLS]+[SEP],但用于标记文档边界。
  • 没有 [SEP], [CLS] 这样的显式句子标记。

最大的区别在于 注意力模式。GPT-2 是因果语言模型,需要 单向注意力掩码(下三角矩阵),防止看到未来信息。但好消息是,当你使用 GPT2Tokenizer 的 encode_plus() 并设置 return_tensors='pt' 时,返回的 attention_mask 是一个全1的掩码,真正的因果掩码是在模型内部根据 attention_mask 和位置信息自动生成的。

from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
# 注意:GPT-2 的 tokenizer 默认不会在开头添加特殊标记,除非指定 add_special_tokens=True
# 但很多时候,我们直接使用 add_special_tokens=False,因为训练数据可能已经处理好了。
text = "Once upon a time"
inputs = tokenizer.encode_plus(text, return_tensors='pt', add_special_tokens=False)
print(inputs.keys()) # 输出: input_ids, attention_mask
# 对于生成任务,通常还需要指定 pad_token_id 和 eos_token_id
tokenizer.pad_token = tokenizer.eos_token # 通常将结束符也作为填充符

关键差异总结表:

特性BERT TokenizerGPT-2 Tokenizer
分词算法WordPieceByte-Pair Encoding (BPE)
核心特殊标记[CLS], [SEP], [MASK], [PAD], [UNK]`<
句子对处理自动生成 token_type_ids无内置句子区分,通常处理连续文本
默认填充方向padding_side='right'padding_side='left' (对生成至关重要)
掩码类型双向注意力,掩码用于遮挡填充符单向因果注意力,掩码用于遮挡未来词和填充符

4.3 处理长文本:stride 参数的应用

当文本远超 max_length 时,简单的截断会丢失信息。encode_plus() 提供了一个 stride 参数,用于实现 滑动窗口 式的重叠截断,常用于问答或长文档分类。

long_document = "这是一个非常长的文档..." # 假设有1000个词元
inputs = tokenizer.encode_plus(
    long_document,
    max_length=128,
    stride=50, # 重叠50个token
    truncation=True,
    return_overflowing_tokens=True, # 关键!返回所有片段
    return_offsets_mapping=True # 可选,用于映射回原始文本位置
)
print(len(inputs["input_ids"])) # 输出片段数量,例如 8
print(inputs["overflow_to_sample_mapping"]) # 每个片段对应的原始样本索引

return_overflowing_tokens=True 会使得输出变成一个 批处理 格式,即使输入只有一个样本。每个片段都会被独立添加特殊标记和填充。这对于需要处理整个长文档的任务非常有用,最后可以将所有片段的模型输出进行聚合(如取最大概率、平均等)。

5. 避坑指南:encode() 使用中的常见错误与最佳实践

在多年的项目实战里,我见过也犯过不少关于 tokenizer.encode() 的错误。这里总结几个高频坑点,希望你能绕道走。

坑点一:混淆 encode 和 encode_plus 的返回值。

# 错误做法
input_ids = tokenizer.encode(text, return_tensors='pt')
model(input_ids) # 可能报错,因为缺少 attention_mask

# 正确做法(需要 attention_mask 时)
inputs = tokenizer(text, return_tensors='pt') # 直接调用 __call__,等价于 encode_plus
model(**inputs) # 解包传入 input_ids 和 attention_mask

坑点二:在批处理前手动填充,导致注意力掩码错误。 不要自己用 [PAD] 的 ID 去填充列表,然后试图自己构造一个全1的掩码。因为 tokenizer.pad_token_id 可能为 None,而且 tokenizer 的填充逻辑更健壮。始终使用 tokenizer(..., padding=True) 或 DataCollatorWithPadding。

坑点三:忽略 tokenizer 的 padding_side 对生成模型的影响。

# 为 GPT-2 设置填充(通常在初始化后或加载后设置一次)
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
tokenizer.pad_token = tokenizer.eos_token # 设置填充令牌
# 对于生成,填充必须在左侧,这样新生成的token才能在右侧连续添加
tokenizer.padding_side = 'left'

坑点四:认为所有模型的 encode() 行为完全一致。 如前所述,BERT 和 GPT-2 的特殊标记、填充方式不同。在切换模型时,一定要查阅对应 Tokenizer 的文档,了解其默认行为和特殊标记。

最佳实践清单:

  1. 训练/验证阶段:使用 tokenizer()(__call__)或 encode_plus(),并设置 padding=True, truncation=True, return_tensors='pt'(或 'tf')。结合 DataCollatorWithPadding 使用动态填充。
  2. 生成/推理阶段(单样本):明确设置 max_length、padding 和 return_tensors。对于生成模型,务必检查 padding_side 和 pad_token_id。
  3. 处理长文本:善用 stride 和 return_overflowing_tokens 参数,避免信息丢失。
  4. 调试时分步验证:如果不确定分词结果,先用 tokenize() 看看词元列表,再用 convert_tokens_to_ids 转ID,最后用 decode() 反向验证是否能还原原句。
  5. 保存和加载:使用 tokenizer.save_pretrained('./your_path') 和 from_pretrained('./your_path') 来保存和加载自定义训练过的或修改过的 tokenizer,确保其配置(如新增的特殊标记)不丢失。

理解 tokenizer.encode() 不仅仅是学会调用一个函数,更是理解现代 NLP 模型数据预处理的标准流程。它封装了从原始文本到模型可消化数字之间的复杂转换,是连接人类语言和机器智能的桥梁。掌握了它的原理和调参技巧,你就能为你的模型准备出更“可口”的数据,从而让模型发挥出最佳性能。下次当你写下 tokenizer.encode() 时,希望你能对背后那条高效运转的流水线会心一笑。

Transformers库实战解密:NLP工程化落地的核心原理与避坑指南 Transformers库已从NLP模型实现工具演进为统一预训练、微调与部署的工业级基础设施。其核心在于PreTrainedModel、PreTrainedTokenizer和PreTrainedConfig三大抽象,实现模型无关的标准化交互;AutoModel系列则依托注册表机制完成自动模型发现与加载。这种架构设计不仅支撑了BERT、T5、DeBERTa等上百种模型的无缝切换,更通过LoRA微调、pipeline推理、ONNX量化等能力,显著降低小样本、低资源场景下的工程门槛。在电商评论多标签分类等真实任 阅读详情

相关推荐

Hugging Face Transformers v5 Tokenizer 架构升级详解

Tokenizer 是大语言模型文本处理的基石,其核心在于将原始字符串确定性地映射为 token ID 序列,并保障 offset 对齐、空格还原与批量一致性。传统 WordPiece/BPE 实现常因标准化、预分词、子词建模、后处理与解码五阶段耦合而引发边界漂移、chat role 错位及 decode 多余空格等问题。Transformers v5 通过显式暴露 Rust backend 的五段式流水线(Normalizer/Pre-tokenizer/Model/Post-processor/Deco

weixin_30333885的博客 353

Transformers库tokenizer.encode()实战:从分词到模型输入的完整流程解析

本文深入解析了Hugging Face Transformers库中`tokenizer.encode()`方法的完整流程与最佳实践,涵盖从基础使用到高级技巧的全方位指导。通过对比传统分词方法与`encode()`的效率差异,详细解读参数配置及特殊标记处理,并针对BERT、GPT-2等不同模型架构提供适配方案,帮助开发者优化NLP预处理流程。

e1f2g的博客 943

Transformers v5 Tokenizer架构变革与迁移指南

Tokenizer(分词器)是NLP模型输入处理的核心组件,其本质是将原始文本映射为模型可理解的token ID序列。v5版本通过解耦分词与编码、引入声明式特殊token管理、实现padding/truncation策略显式化,从根本上重构了tokenization的设计范式。这一变革提升了分词过程的可解释性、可审计性与跨任务一致性,尤其在医疗NER、金融舆情、法律文本等长文档、强结构化场景中显著改善序列对齐精度与推理稳定性。本文聚焦transformers 5.x tokenizer的底层架构升级,深入解

weixin_33748818的博客 424

Transformers库避坑指南:Tokenizer的encode_plus和直接调用有什么区别?

本文深入解析了HuggingFace Transformers库中Tokenizer的三种调用方式(encode、encode_plus和直接调用)的核心差异与适用场景。通过对比注意力掩码生成、批量处理效率和特殊符号处理等关键维度,揭示了不同方法在文本分类、问答系统等任务中的最佳实践,帮助开发者优化预训练模型的使用效率。

weixin_33688840的博客 519

HuggingFace模型下载与Tokenizer实战避坑指南

HuggingFace不是简单的Python库,而是一套融合Git-LFS、CDN分发、Rust编译Tokenizer和多层缓存机制的分布式AI基础设施。其核心原理在于:模型权重通过Git-LFS协议从对象存储按需加载,Tokenizer实为动态编译的Unicode正则DFA引擎,而transformers库的缓存体系(.cache/huggingface)本质是本地化CDN节点。技术价值体现在降低重复下载开销、加速推理启动、保障跨环境复现性;典型应用场景包括高校教学部署、企业内网离线推理、Jupyter快

weixin_33924312的博客 414

Hugging Face Transformers生产实战:模型加载、Tokenizer陷阱与推理优化

Transformers库是当前NLP工程落地的核心基础设施,其本质是一套面向真实硬件约束与业务SLA的模型部署框架。理解其底层原理需从模型加载机制切入——包括FP16/4-bit量化、device_map自动分片及缓存哈希锁定等内存管理策略;深入tokenizer行为尤为关键,如truncation模式选择、padding隐式填充、is_split_into_words对齐逻辑,这些细节直接导致线上指标异常下跌;技术价值体现在推理加速路径上,从raw model手工batching到ONNX Runtim

wgyyh 333

Transformers包tokenizer.encode()方法源码阅读笔记

Transformers包tokenizer.encode()方法源码阅读笔记_天才小呵呵的博客-优快云博客_tokenizer.encode

studyvcmfc的专栏 548

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

深入解析 transformers 的 Tokenizer 工具类:PreTrainedTokenizerBase 与 TruncationStrategy、CharSpan、TokenSpan

本指南以官方文档 [Utilities for Tokenizers(日语版)](https://link.gitcode.com/i/eec96c99f47c3a6f2726bb428037159b) 与同内容英文版 [Utilities for tokenizers](https://link.gitcode.com/i/8d9da3e58b992efdd0c9a0f2befcb8bf) 为骨

gitblog_00550的博客 266

MTK Tunning ISP 模块面试总结

ISP面试问答

m0_72053187的博客 4541

告别手写代码!用Simulink给TI F28335 DSP自动生成C代码(保姆级环境配置)

本文详细介绍了如何利用Simulink为TI F28335 DSP自动生成C代码,告别传统手写代码的低效与错误。通过保姆级环境配置指南和实战案例,帮助开发者快速掌握模型驱动开发方法,大幅提升嵌入式开发效率,特别适合需要频繁修改算法参数或团队协作的工程师。

weixin_30388677的博客 419

别再只懂encode了!Hugging Face Transformers的tokenizer实战:从单句处理到批量文本的完整避坑指南

本文深入解析Hugging Face Transformers Tokenizer的使用技巧,从基础的encode方法到高效的batch_encode_plus批量处理,帮助开发者避免常见陷阱。通过实战示例详细讲解encode_plus参数配置、截断策略选择以及内存优化技巧,提升NLP项目的处理效率与模型性能。

weixin_30861797的博客 419

9 HAL库驱动框架简述(STM32HAL库)

HAL库外设的使用步骤总结如下:1、定义并填充xxx外设句柄结构体。2、如果遵循HAL库规范,通过HAL_xxx_MspInit()函数,实现外设底层资源的初始化,包括但不限于GPIO、时钟、DMA、中断等资源的初始化。3、调用HAL库的对应外设初始化函数,形如:HAL_xxx_Init()。4、初始化完成,开始使用外设。5、使用方法具体查看对应外设的HAL库驱动包中的说明:补充:HAL库使用主线外设初始化外设使用。

qq_25218501的博客 1984

Transformers Tokenizer 核心类深度解析:PreTrainedTokenizer、PreTrainedTokenizerFast 与 BatchEncoding

Tokenizer(分词器)负责为模型准备输入,是 Transformers 中连接"原始文本"与"模型张量"之间的桥梁。本仓库为几乎所有模型都提供了对应的 Tokenizer,且多数模型同时提供纯 Python 实现与基于 Rust 库 🤗 Tokenizers 的 "Fast" 双版本实现。读完本文,你将掌握 `PreTrainedTokenizer` / `PreTrainedTokeni

gitblog_00747的博客 10

光学设计进阶:Zemax中的坐标断点与离轴系统优化

本文深入解析了Zemax中坐标断点的核心原理与实战应用,它是实现离轴光学系统设计的关键。文章通过比喻和实例,详细阐述了如何利用坐标断点作为“方向盘”来精确控制光学元件的偏心和倾斜,实现“前断后接”的局部坐标系变换,从而构建并优化无中心遮拦的离轴反射系统,避免光线失控。

3a9bq4r8t2y的博客 528

大话西游2经典单机版V8:一键架设+GM全功能+仙玉自由修改

本文详细介绍大话西游2经典单机版V8的一键架设教程和GM全功能使用指南,包括仙玉自由修改技巧。该版本无需虚拟机,解压即玩,完美还原官服经典玩法,支持离线运行,是老玩家重温经典和新玩家体验游戏的理想选择。

weixin_27303545的博客 1136

别再只会pip install了!HuggingFace Transformers库的Tokenizer实战避坑指南(以BERT中文为例)

本文深入解析HuggingFace Transformers库中Tokenizer的使用技巧与避坑指南,以BERT中文模型为例。从分词重要性、三大编码函数到中文分词的五大陷阱与解决方案,帮助开发者优化NLP任务中的文本处理流程,提升模型表现。特别针对中文场景提供实战建议,包括新词识别、标点处理、截断策略等关键问题。

weixin_30216561的博客 300

2024年最新双摄像头的实时视频拼接及目标跟踪(一)_监控视频拼接实时(1),网络相关+C C++三方库的源码分析+数据结构与算法

opencv中采用了SURF,ORB进行特征点提取,如果装的是opencv2.0版本,则可以直接用SURF,如果是3.0版本,则需要下载相应的contrib库进行安装。原理不赘述,给出其实验结果对比和分析,原始图像1SURF特征点提取网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化的资料的朋友,可以添加戳这里获取一个人可以走的很快,但一群人才能走的更远!

m0_51437227的博客 939

Transformers 数据预处理实战指南:用 Tokenizer、Feature Extractor 与 Processor 把文本、音频、图像变成模型张量

在 Transformers 中使用模型之前,原始数据必须先转换为模型可接受的数值格式:模型无法直接理解原始文本、图片或音频,这些输入必须被转换并组装成张量。本指南围绕 Transformers 官方文档的数据预处理章节展开,完整覆盖三类典型场景——用 Tokenizer 处理文本、用 Feature Extractor 处理音频/图像、用 Processor 处理多模态任务,并结合仓库源码剖析

gitblog_00936的博客 911

通信算法之267 : DJI无人机 云哨 DroneID 640ms

消费级无人机可以用于高级航拍、物流和人道主义救援等等。但是其广泛使用给安全、安保和隐私带来了许多风险。例如,攻击方可能会使用无人机进行监视、运输非法物品,或通过侵入机场上方的封闭空域造成经济损失。为了防止恶意使用,无人机制造商采用多种对策来强制安全可靠地使用无人机,例如对速度和高度施加软件限制,或使用地理围栏实施禁飞区。作为对传统对策的补充,市场领导者大疆(DJI)为无人机实施了一种称为 DroneID 的跟踪协议,该协议旨在将无人机及其操作员的位置传输给授权实体,例如执法部门或关键基础设施的运营商。

leegang12的专栏 3311

从 OA 门户到 SAP 的单点登录全景解析

OA(Office Automation)门户往往已与企业身份证明源(Microsoft Entra ID、LDAP 等)集成。管理员希望:员工在 OA 登陆后访问 SAP Fiori Launchpad、OData API 或 RFC 接口时无需再次输入账号密码,而 SAP 仍能识别用户身份并执行基于角色的授权。此时 OA 可以直接充当 IdP,也可以把企业 IdP 发放的令牌转发给 SAP 充当 SP(service provider)。SAP Help Portal 将这类跨系统认证称为 single

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1003

BERT/GPT2预处理避坑指南:tokenizer.encode()参数详解与常见错误排查

本文深入解析BERT/GPT2预处理中的tokenizer.encode()方法,详细讲解关键参数配置与常见错误排查,帮助开发者优化文本预处理流程。涵盖长度控制、特殊标记处理等核心功能,并提供典型错误解决方案与性能优化技巧,助力构建高效的NLP处理流水线。

t8u9v0w1x的博客 163

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Hugging Face Tokenizers rc0 架构解析:tk-encode 推理引擎与只读 PipelineTokenizer 实战指南

本文以 [tokenizers/README.md](https://link.gitcode.com/i/f6de8cff4119f0b705ef9cbaa68b7669) 为主线,深入拆解 🤗 Tokenizers 1.0.0-dev.0(rc0 里程碑)的全新多 crate 架构:它把推理、序列化、配置升级拆成 `tk-encode`、`tk-serialize`、`tk-convert`

gitblog_00345的博客 1087

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

【备忘录】transformers tokenizer.tokenize和tokenizer.encode的区别

自己实现的备忘录

m0_59993413的博客 276

【Transformers 实战——特征提取】从 Tokenizer 编码到 BERT 四类返回值详解与 NER 选型避坑

本文系统梳理 Transformers 特征提取全流程,深度解析 encode_plus 与 __call__ 的底层区别及适用场景。结合 BERT 实战代码,详解 last_hidden_state、pooler_output、hidden_states、attentions 四类返回值的形状含义与应用差异,重点剖析 Mean Pooling 避坑写法与 pooler_output 的局限性。最后对比基础模型与任务模型的输出差异,给出 NER 等序列标注任务的模型选型指南,助你彻底打通从 Tokenize

qq_62634342的博客 403
上一篇: 【Android11 有线网络开发】EthernetManager实战:从动态IP切换到静态IP的完整指南
下一篇: Android TV启动速度优化实战:从Bootloader到Launcher的全链路调优
Python
博客等级 码龄26年 1973粉丝 1567原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值