陌北有棵树的博客

本篇是《带你自学大语言模型》系列的番外篇，写一些我最近研究OpenAI o1和推理Scaling Laws后的一些个人观点分享。

本篇从大模型的评估方法，评估数据集来谈大语言模型的评估，主要侧重于数据集角度。本篇仍然是工具属性较多，整理了大量的评估数据集来源，建议是可以收藏，有需要的时候再看，我也是这样操作的

本篇对大模型微调阶段的数据集做一个详细的介绍，微调阶段一般需要的数据量较少，也会相对聚焦在某一类特定任务上。但数据的质量和多样性仍然起着十分重要的作用。所以，构建指令数据是个精细化的过程。

后面计划开始写RAG系列了,前面的坑也会陆续填的。本节6.1.1聊聊Al搜索,非技术向的,6.1.2~6.1.6 是RAG技术向的,大家按需取用即可。

近年来，语言模型已经完成了向“预训练+微调/提示”范式的迁移，在这个范式下，预训练阶段要解决的关键问题是借助大规模语料资源，抽取那些语言的共性结构和关系，而微调阶段要解决的是如何借助小规模的专用数据集，进行模型能力的“垂直下沉”的问题，前者广，后者专。但无论如何，模型能力本质上是来源于所见过的训练数据，因此数据工程就变得极为重要。在训练过程中，高质量、大规模、多样化的数据集对于大模型训练至关重要。

上周LLM圈的大事件，莫过于LLaMa 3.1和 Mistral Large 2这两个开源模型的发布。本文对LLaMa 3进行技术分析

努力用这一万字，把Transformer相关知识讲明白......

算力是AI发展的驱动力，大模型时代更要格外关注算力。目前的大模型是个重资产行业，底层竞争在于半导体产业，AI的发展离不开芯片，甚至可以说，整个信息时代的发展都离不开芯片。

【思考】1.在让机器说人话这件事上，人们都做了哪些尝试？2.基于神经网络的语言模型，核心的任务有哪几步？3.人理解语言的方式和计算机理解语言的方式有什么相同和不同？

大语言模型的训练主要包括哪几个阶段？每个阶段需要的数据、算力、训练方式、产出模型分别是什么？ 每个阶段的训练难点分别是什么？哪个阶段是必须的，哪个阶段是可选的？ 每个阶段模型的训练难点分别是什么？

本节主要从发展史的角度，梳理自AI诞生起经历了哪些阶段，从而让我们更清晰地认识到，当下我们是处在哪个位置？虽然今天正处于本轮AI的应用爆发初期，大家更感兴趣的是如何基于大模型做应用开发，但我仍然希望读者愿意花十几分钟的时间，去探索这个领域是如何走到今天的。对当下是否真的走在了”正确“的道路上，有自己辨证且深入的思考。与其杞人忧天 AI 产生智慧，我们更应该担心自己因为人云亦云从而失去智慧。

今天开始计划开启一个系列 《带你自学大语言模型》。该系列的落脚点是“自学”和“大语言模型”，二者不分伯仲，因为我不想只做大语言模型知识的传递，互联网上已经有太多同质化的信息了；我希望能以学习大语言模型作为开始，帮助你一步步养成自学的能力。