https://zhuanlan.zhihu.com/p/695130168https://zhuanlan.zhihu.com/p/695130168LLM-from-scratch/1. TinyStories/TinyStories.ipynb at main · Mxoder/LLM-from-
超级会员免费看
本文作者通过构建英文短篇故事数据集TinyStories，研究了小型语言模型(SLM)在文本连贯性和故事续写能力上的表现。使用GPT Neo为基座，调整模型参数，评估指标包括Creativity、Grammar和Consistency。同时，讨论了分词器的选择、数据预处理、批处理方法以及训练过程中的配置参数。
https://zhuanlan.zhihu.com/p/695130168
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
