【AI 认证】Azure AI-102 : (十) 标记（Token）和容量（Capacity）

目录

1. 引言
2. 什么是标记？
3. Transformer模型中的标记处理机制
4. 容量（Capacity）限制及其影响
5. 标记限制的实际影响
6. 成本与性能优化
7. 实践中的优化策略
8. 结论
9. 常见问题解答（FAQ）

引言

在Azure AI-102认证考试中，标记（Token）和容量（Capacity）是关键概念。它们不仅影响AI模型的性能和成本，还决定了系统的效率。理解标记的作用、容量限制及优化策略，是提升Azure AI系统表现的关键。

什么是标记？

标记的基本概念

在自然语言处理（NLP）和AI模型中，标记是文本分割的基本单位。例如：

• 在GPT类模型中，标记可以是一个单词、一个子词，甚至是一个字符。
• 例如，“Hello, world!”可能会被拆分为多个标记，而“AI”可能是一个完整的标记。

标记的核心作用

• 文本编码&