陌北有棵树的博客

这是一篇给新手的「从0手搓AI机器人」教程

本篇是《带你自学大语言模型》系列的番外篇，写一些我最近研究OpenAI o1和推理Scaling Laws后的一些个人观点分享。

本篇从大模型的评估方法，评估数据集来谈大语言模型的评估，主要侧重于数据集角度。本篇仍然是工具属性较多，整理了大量的评估数据集来源，建议是可以收藏，有需要的时候再看，我也是这样操作的

上周六参加了一个优快云组织的线下技术沙龙，做了一个《AI时代的程序员：关于创业、应用开发与快速成长》主题的分享，所以本篇内容对当时分享的内容做一个整理，感谢优快云平台和鲲志大佬的组织，让大家有了一次深入的沟通交流。

本篇对大模型微调阶段的数据集做一个详细的介绍，微调阶段一般需要的数据量较少，也会相对聚焦在某一类特定任务上。但数据的质量和多样性仍然起着十分重要的作用。所以，构建指令数据是个精细化的过程。

后面计划开始写RAG系列了,前面的坑也会陆续填的。本节6.1.1聊聊Al搜索,非技术向的,6.1.2~6.1.6 是RAG技术向的,大家按需取用即可。

近年来，语言模型已经完成了向“预训练+微调/提示”范式的迁移，在这个范式下，预训练阶段要解决的关键问题是借助大规模语料资源，抽取那些语言的共性结构和关系，而微调阶段要解决的是如何借助小规模的专用数据集，进行模型能力的“垂直下沉”的问题，前者广，后者专。但无论如何，模型能力本质上是来源于所见过的训练数据，因此数据工程就变得极为重要。在训练过程中，高质量、大规模、多样化的数据集对于大模型训练至关重要。

上周LLM圈的大事件，莫过于LLaMa 3.1和 Mistral Large 2这两个开源模型的发布。本文对LLaMa 3进行技术分析

努力用这一万字，把Transformer相关知识讲明白......

算力是AI发展的驱动力，大模型时代更要格外关注算力。目前的大模型是个重资产行业，底层竞争在于半导体产业，AI的发展离不开芯片，甚至可以说，整个信息时代的发展都离不开芯片。

【思考】1.在让机器说人话这件事上，人们都做了哪些尝试？2.基于神经网络的语言模型，核心的任务有哪几步？3.人理解语言的方式和计算机理解语言的方式有什么相同和不同？

大语言模型的训练主要包括哪几个阶段？每个阶段需要的数据、算力、训练方式、产出模型分别是什么？ 每个阶段的训练难点分别是什么？哪个阶段是必须的，哪个阶段是可选的？ 每个阶段模型的训练难点分别是什么？

本节主要从发展史的角度，梳理自AI诞生起经历了哪些阶段，从而让我们更清晰地认识到，当下我们是处在哪个位置？虽然今天正处于本轮AI的应用爆发初期，大家更感兴趣的是如何基于大模型做应用开发，但我仍然希望读者愿意花十几分钟的时间，去探索这个领域是如何走到今天的。对当下是否真的走在了”正确“的道路上，有自己辨证且深入的思考。与其杞人忧天 AI 产生智慧，我们更应该担心自己因为人云亦云从而失去智慧。

今天开始计划开启一个系列 《带你自学大语言模型》。该系列的落脚点是“自学”和“大语言模型”，二者不分伯仲，因为我不想只做大语言模型知识的传递，互联网上已经有太多同质化的信息了；我希望能以学习大语言模型作为开始，帮助你一步步养成自学的能力。

这里是陌小北，每周日解读每周AI大事件。本周热点：OpenAI语音引擎15秒复刻人声 | 阿里开源MoE架构大模型 | 马斯克发布Grok-1.5

每周日解读每周AI大事件。本周热点：Kimi支持200万字上下文|Stability AI CEO及核心团队集体离职|Grok大模型开源|Suno发布音乐模型v3

这里是陌小北，每周日解读每周AI大事件。本周热点事件：Meta公布Llama 3集群细节 | Sora将于年内推出 | 全球首个AI软件工程师发布

这里是陌小北，每周日解读每周AI大事件。本周热点：Anthropic 最强模型 Claude 3发布 | OpenAI“宫斗”调查结果公布 | 阿里已注资五家大模型独角兽

我是陌小北，每月不定时更新前一个月AI领域科研新进展，拿走不谢，欢迎提建议。目前的分类包括：LLM研究、Agent、多模态、特定领域应用、世界模型。内容较多所以每个相对简略。

这里是陌小北,每周日解读每周AI大事件。本周热门:微软与Mistral Al达成合作|谷歌发11B基础世界模型|传苹果放弃电动汽车制造转向生成式AI

本文脉络：1、浅谈2月15日及2024年三家发布的产品；2、三家AGI路线的异同分析；3、用三国视角浅析当前三家格局和策略；4、陌小北对于AGI的一些看法。

这一周，国外各厂真是不让我们消停儿过年呐，新闻一个个跟下饺子似的，冷不丁还炸锅一两个。这里是陌小北，每周日解读每周AI大事件。

每周日20:00，准时解读每周AI大事件。

我是陌小北，一个正在研究硅基生命的、有趣儿的碳基生命。每周日20:00，准时解读每周AI大事件。

关于AI Agents的研究，有两篇综述性文章值得关注，可以说是涵盖了目前AI Agents的所有研究成果，对于对此领域感兴趣的人来讲，可以说是喜大普奔，往后需要哪个细分方向的资料，按图索骥就好。本文是2023.10.02发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的，所以搬运过来。

今天要读的论文是《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，算是关于大模型思维链研究的开山之作。本文是2023.07.24发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的，所以搬运过来。

本篇文章主要阅读三篇论文，分别代表着GPT、GPT2、GPT3。本文是2023.02.20发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的。

这篇是论文解读《Attention Is All You Need》，是一篇由Google Brain团队于2017年提出的论文，它引入了一种新的神经网络架构——Transformer。而ChatGPT所基于的GPT模型，其核心就是这个Transformer架构，所以它的重要程度是不言而喻的。

我是陌小北，一个正在研究硅基生命的、有趣儿的碳基生命。每周日20:00，准时解读每周AI大事件。

本文首先从盈利模式、内容质量和安全性三方面探讨了GPT Store是否能成为下一个APP Store的问题。然后希望读者独立思考,合理利用GPT,并提供了GPTs相关的构建教程和安全防护建议。

本文脉络：【01】引言【02】对AI不同态度的四类人【03】为什么写这篇文章【04】普通人在AI时代如何破局的思考。