maxsen_jn的博客

近期，随着大模型（LLM）的兴起，关于它的长度外推性质，也受到了业界的关注。关于外推，有一个美好的愿景，即，我们总是希望用更短的文本来训练LLM，但希望在推理时，LLM仍然可以处理更长的文本。如果这一假设成立，那将使得训练成本大幅降低，美哉！然而，现实却很骨感。目前已知的良好属性的位置编码RoPE，也仅能达到10%-20%的外推长度（参考苏剑林老师的博客[1]中的论述）。在此，假设各位伙伴对于位置编码相关知识已经有了一定的基础，故不做详细阐释。