Random Text, Zipf‘s Law, Critical Length,and Implications for Large Language Models

文章核心总结与翻译

一、主要内容

本文构建了一个极端简化的无语言学结构随机文本模型，仅包含有限字母表、单个空格符号及独立符号生成机制，单词被定义为非空格符号的最大连续块。研究发现：

1. 单词长度分布：遵循由空格概率决定的几何分布，空格出现概率越低，单词平均长度越长。
2. 词汇增长与临界长度：推导了特定长度单词的期望出现次数和独特单词期望数量的闭合表达式，定义了临界长度(k^{*)——短于(k})的单词多为重复出现的“核心词汇”，长于(k^{*)的单词多为仅出现一次的“尾部词汇”，且(k})随文本长度对数增长。
3. 齐夫型频次-秩定律：结合特定长度单词数量的指数增长与单个单词概率的指数衰减，推导出幂律形式的频次-秩关系(p® \propto r^{-\alpha})，指数(\alpha)由字母表大小和空格概率明确决定。
4. 与自然语言及LLM的关联：该模型可作为自然语言统计规律的“零假设模型”，说明齐夫定律等模式可由符号组合学和分割机制产生，无需深层语言学结构；同时为LLM提供基准，帮助区分模型输出中由结构组合导致的统计模式与真正的语言理解能力。

二、创新点

1. 统一分析框架：首次在单一模型中统一推导单词长度、词汇增长、临界长度和频次-秩行为的关联，提供完整的解析表达式。
2. <