Overman的代码世界

本文介绍词汇表和嵌入向量

tokenizer.encode 参与了 step 1、2、3transformer 参与了 step 4、5、6、7。

大语言模型不能理解原始文本，所以需要把原始文本转换成大语言模型可以理解的数字表示形式，经过大模型处理以后，需要将该数字表示形式转换为人可以理解的文本。!

Meta开发并发布了Meta Llama 3家族大型语言模型(LLM),这是一组预训练和指令微调的生成性文本模型,大小为8B和70B参数。Llama 3指令微调模型针对对话用例进行了优化,在常见的行业基准测试中表现优于许多可用的开源聊天模型。此外,在开发这些模型时,我们非常谨慎地优化了有用性和安全性。我们直接通过Meta的可持续发展计划抵消了100%的排放,并且由于我们公开发布了这些模型,其他人无需承担预训练成本。数据新鲜度 8B模型的预训练数据截止日期为2023年3月,70B模型为2023年12月。