桃花猿-优快云博客

原创大模型Token入门详解：概念、原理、换算与核心作用【AI基础】

本文用通俗语言讲解Token的核心概念：Token是大语言模型处理文本的最小单元，相当于文字的"数字身份证"。Tokenizer（分词器）负责将文字与数字相互转换，其工作分为编码（文字转数字）和解码（数字转文字）两个步骤。主流模型采用BPE算法训练分词器，通过合并高频字词形成Token，实现文本压缩效果。1个Token约等于1.5-2个汉字或0.75个英文单词。Token机制大幅提升了模型处理效率，是理解大模型工作原理的基础知识。全文无专业术语，适合AI初学者快速掌握核心逻辑。

2026-03-18 12:57:05 1490 1

原创网络IO基础知识

主要是总结了IO常用的基础知识

2025-10-01 14:39:24 738

原创解析Spring Bean对象的作用域机制

主要介绍了Spring Bean的scope作用域机制

2024-05-27 21:12:56 455

原创 Spring创建对象的多种方式

Spring创建不同类型对象方式的总结

2024-05-22 20:28:34 695

原创消息队列选型

主要介绍消息队列的选型问题

2024-05-14 16:58:52 1130

原创一条查询SQL的执行过程

主要总结一下Mysql中查询sql的执行逻辑

2024-05-14 11:38:13 867

原创 Mysql存储引擎对比

主要总结一下Innodb和Myiasm存储引擎的区别

2024-05-14 10:28:24 337

原创 Mysql数据类型设计思考

主要介绍一下Mysql常见的数据类型，并最细节进行分析

2024-05-13 21:05:29 770 1

原创 Mysql数据存储格式分析

主要是对Mysql数据的存储格式进行了详解分析

2024-05-13 13:56:15 3128 2

原创深入解析War包和Jar包机制

深入了解Jar包和War包两种文件格式的机制

2024-04-06 11:28:47 3147

原创深入解析Cookie、Session以及Token原理

深入解析Cookie, Session和Token机制

2024-04-05 20:53:47 1508

原创深度解析单例模式

介绍了单例模式的多种经典实现方式

2024-03-24 15:49:30 712

原创深入解析分布式限流

分布式限流理论解析

2024-03-19 19:40:41 2408

原创深入解析分布式ID生成机制

深入分析了分布式ID生成的各种方案

2024-03-19 16:53:10 1405 1

原创分布式接口幂等性解析

介绍分布式接口幂等性的解决方案

2024-03-19 16:17:05 744

原创【SpringMVC】SpringMVC的整体执行流程

详解了SpringMVC的整体执行流程

2024-03-18 11:28:04 543

原创【Mybatis面试题】Mybatis缓存机制

Mybatis的缓存机制

2024-03-18 10:50:57 525 3

原创【Mybatis面试题】Mybatis中多种分页方案

Mybatis多种分页机制

2024-03-18 10:18:05 334

原创【Mybatis面试题】Mybatis如何防止SQL注入？$#的区别是什么

Mybatis如何防止注入以及#$之间的区别

2024-03-18 09:59:51 463

原创 Redis集群原理解析

Redis集群的深度解析

2024-03-17 19:19:26 1632 2

原创分布式事务基础理论解析

分布式事务的基础理论以及解决方案

2024-03-17 11:18:35 1267

原创深入解析Java中锁机制以及底层原理

深入分析了Java各种锁的机制和原理

2024-03-13 20:58:53 4414 2

原创深入解析CAS的原理机制

深入解析CAS底层的机制

2024-03-13 16:14:32 1601

原创深入解析Condition的底层实现原理

详细分析了Condition内部的原理

2024-03-13 16:04:17 736

原创深入解析AQS队列同步器的底层原理

深入分析AQS的底层原理

2024-03-13 15:35:36 835

原创深入解析Synchronized锁底层原理

深入解析Synchronized锁的底层实现原理

2024-03-13 15:08:54 2177

原创深入解析Java对象创建逻辑、内存布局以及访问机制

深入分析对象的创建机制，内存布局以及访问机制

2024-03-13 14:41:15 787

原创深入解析Java内存模型

详细分析了JMM的来源

2024-03-12 23:01:39 951

原创 String、StringBuilder和StringBuffer的区别以及应用场景

从多个角度比较String,StringBuilder和StringBuffer的区别和应用场景

2024-03-12 16:31:52 580

原创深入解析JVM加载机制

Java代码被编译器变成生成Class字节码，但字节码仅是一个特殊的二进制文件，无法直接使用。因此，都需要放到JVM系统中执行，将Class字节码文件放入到JVM的过程，简称类加载。

2024-03-12 15:12:55 1064

原创工厂设计模式总结

主要是对工厂设计模式的背景、实现方案以及应用场景进行了详细的总结

2024-02-23 12:36:16 1085

原创装饰者设计模式总结

装饰器模式理论的总结

2024-02-07 17:36:00 868

原创三、设计模式相关理论总结

主要是设计模型相关理论的总结

2024-02-07 17:21:00 1897

原创设计模式之原型模式

同一个类的不同对象之间，大部分字段值是相同的，可以在原有对象的基础上进行拷贝，快速生成一个新的对象，这个方式就是原型模式(Prototype Design Pattern).

2024-01-18 12:51:39 455

原创设计模式之策略模式总结

对策略模式进行了简单总结

2024-01-11 20:31:21 481

原创 Git报错: error: RPC failed； curl 56 HTTP/2 stream 5 was reset； send-pack: unexpected disconnect

总结了git push时commit内容过大导致push失败的解决方案

2024-01-09 19:58:34 5097

原创设计模式之建造者模式

构造者模式，即Builder模式，或生成器模式。如何一步步构建复杂对象的过程，将内部复杂的校验逻辑隐藏起来，并将对象创建动作到最后执行，保证复杂对象的。

2024-01-08 19:50:48 525

原创设计模式之模板模式总结

用最简单的语言，描述模板设计模式

2024-01-07 21:37:51 524 1

原创设计模式核心思考

设计模式个人的简单思考

2024-01-07 09:40:23 441 1

原创设计模式之观察者模式

主要介绍观察者模式的基本概念，分类以及具体的实现方案

2024-01-07 09:33:28 622 1

Java虚拟机的内存划分.html

Java虚拟机JVM详细的内存划分。划分的区域包括方法栈、堆内存、方法区、本地方法栈以及寄存器，对每个特殊区域的存放内容进行了介绍，并添加一些注意事项。最后，给出举例使用的Java代码段，分析了该代码段在运行期间，是如何在存储在内存中各个区域的。

2020-02-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人