2.2 神经网络语言模型：从词向量到上下文感知的进化革命

神经网络语言模型：从词向量到上下文感知的进化革命

一、技术跃迁：神经网络如何突破统计模型的天花板

1.1 统计模型的核心瓶颈

# 传统N-gram模型的维度灾难示例  
vocab_size = 10**5  # 词表大小  
n = 3               # Trigram模型  
params_count = vocab_size ** n  # 1e15 参数 → 无法实际存储  

神经网络模型的破局之道：