超级会员免费看
本文探讨在高度压缩文本上训练大型语言模型（LLM）的可能性，提出Equal Info Windows压缩技术，解决了压缩导致的学习难题。研究表明，这种方法在困惑度和推理速度上优于字节级基线，尤其在处理长文本和减少延迟方面具有优势。
本文是LLM系列文章，针对《Training LLMs over Neurally Compressed Text》的翻译。
摘要
在本文中，我们探讨了在高度压缩的文本上训练大型语言模型（LLM）的想法。虽然标准的子词标记器将文本压缩一小部分，但神经文本压缩器可以实现更高的压缩率。如果有可能直接在神经压缩文本上训练LLM，这将在训练和服务效率方面带来优势，并更容易处理长文本跨度。实现这一目标的主要障碍是，强压缩往往会产生不太适合学习的不透明输出。特别是，我们发现通过算术编码天真地压缩的文本不容易被LLM学习。为了克服这一点，我们提出了Equal Info Windows，这是一种新颖的压缩技术，将文本分割成块，每个块压缩到相同的比特长度。使用这种方法，我们展示了在神经压缩文本上的有效学习，这种学习随着规模的增加而提高，并且在困惑和推理速度基准方面大大优于字节级基线。虽然对于用相同参数计数训练的模型，我们的方法比子字标记器带来了更糟糕的困惑，但它的优点是序列长度更短。更短的序列长度需要更少的自回归生成步骤，并减少延迟。最后，我们对有助于学习的特性进行了广泛的分析，并为如何进一步提高高压缩标记器的性能提供了具体的建议。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
