【DeepSeek小白学习系列教程】10分钟带你快速入门世界顶级AI大模型(2) AI对话偷钱元凶锁定Tokens

🚀 个人主页 极客小俊
✍🏻 作者简介：程序猿、设计师、技术分享
🐋 希望大家多多支持, 我们一起学习和进步！
🏅 欢迎评论 ❤️点赞💬评论 📂收藏 📂加关注

Tokens 什么是？

在使用DeepSeek之前，我们先来了解一下什么是Tokens，这个概念目前很多AI大模型官网文档中都有，但是有一部分人是一点概念都没有，这里简单给大家科普一下!

Tokens 是 AI 模型处理文本的基本单位，可以理解为模型思考的最小单元!

它不完全等同于我们理解的字符 而是模型自己的一种特殊的文本分割方式

中文分词

一个汉字通常会被编码为 1~2 个 tokens

举个栗子

"你好" ≈ 2~4 tokens

英文分词

常见单词通常是 1个token, 较长或不常见的单词会被分解成多个 tokens

举个栗子

"hello" = 1 token

"indescribable" = 4 tokens

现在大概明白了吧!

"👍点赞" "✍️评论" "收藏❤️"
大家的支持就是我坚持下去的动力!

---

如果以上内容有任何错误或者不准确的地方，🤗🤗🤗欢迎在下面 👇👇👇 留个言指出、或者你有更好的想法，
欢迎一起交流学习❤️❤️💛💛💚💚

更多好玩 好用 好看的干货教程可以点击下方关注❤️微信公众号❤️
说不定有意料之外的收获哦..🤗嘿嘿嘿、嘻嘻嘻🤗!
🌽🍓🍎🍍🍉🍇