GottenZZP的博客

BPE（Byte-Pair Encoding，字节对编码）是一种NLP中常见的分词方法，核心思想是通过“找规律、合并重复”的方式，把经常一起出现的字符或小片段组合起来，逐步构建一个“词汇表”，然后用该词汇表来拆分任何文本。现在 “u n” 和 “n </w>” 并列最常见（16次），我们随便挑一个，比如合并 “u n” 成 “un”。初始词汇表：[“b”, “g”, “h”, “n”, “p”, “s”, “u”, “</w>”]最常见的字符对是 “u g”，出现了20次。

大模型量化是指将模型的参数（如权重和激活值）从高精度的数据类型（通常是浮点数，例如32位浮点数，FP32）转换为较低精度的数据类型（例如16位浮点数FP16、8位整数INT8甚至更低位整数）。这个过程旨在减少模型的计算复杂度和内存占用，从而提高推理速度并降低对硬件资源的需求。