大型语言模型的工作原理_语言模型工作原理-优快云博客

本文链接：https://blog.youkuaiyun.com/RamendeusStudio/article/details/141466474

得益于大型语言模型（简称 LLM），人工智能现在吸引了几乎所有人的注意力。ChatGPT 可能是最著名的 LLM，由于自然语言是一种非常自然的界面，它使得人工智能领域最近的突破变得人人皆可访问，因此它的受欢迎程度迅速飙升。然而，除非您是数据科学家或从事其他与 AI 相关的工作，否则 LLM 的工作原理仍然不太为人所知。在本文中，我将尝试改变这种状况。

不可否认，这是一个雄心勃勃的目标。毕竟，我们今天拥有的强大的大型语言模型是数十年人工智能研究的结晶。不幸的是，大多数涉及它们的文章都属于以下两种类型：它们要么非常技术性并且需要大量的先验知识，要么太过琐碎以至于你最终不会比以前了解更多。

本文旨在在这两种方法之间取得平衡。或者让我换一种说法，它旨在带你从零开始，了解大型语言模型是如何培养的，以及为什么它们如此有效。我们将通过一路挑选所有相关的部分来做到这一点。

本文不会深入探讨所有细节，因此我们将尽可能依靠直觉而不是数学，并尽可能依靠视觉。但正如您所看到的，虽然 LLM 的详细内容非常复杂，但其主要机制非常直观，仅凭这一点就能让我们走得更远。

本文还可以帮助您更好地利用 ChatGPT 等 LLM。事实上，我们将学习一些巧妙的技巧，您可以应用这些技巧来增加获得有用回复的机会。或者正如著名人工智能研究员和工程师 Andrei Karparthy 最近尖锐地说的那样：“英语是最热门的新编程语言。”

但首先，让我们尝试了解大型语言模型 (LLM) 在人工智能领域中的地位。

人工智能领域是分层的。

人工智能领域通常以层次来表示：

人工智能（AI）是一个非常宽泛的术语，但通常它涉及智能机器。
机器学习(ML) 是人工智能的一个分支，专门用于数据中的模式识别。你可以想象，一旦你识别出一种模式，你就可以将该模式应用于新的观察结果。这就是这个想法的本质，但我们稍后会讲到这一点。
深度学习是机器学习中专注于非结构化数据（包括文本和图像）的领域。它依赖于人工神经网络，这是一种（大致）受人类大脑启发的方法。
大型语言模型(LLM) 专门处理文本，这将是本文的重点。

在我们继续讲解的过程中，我们会从每一层中挑选出相关的部分。我们只会跳过最外层的人工智能（因为它太笼统了），直接进入机器学习。

机器学习。级别：初学者。

机器学习的目标是发现数据中的模式。或者更具体地说，是描述输入和结果之间关系的模式。最好用一个例子来解释这一点。

假设我们想区分我最喜欢的两种音乐流派：雷鬼音乐和R&B。如果你不熟悉这两种音乐流派，这里有一个非常简短的介绍，可以帮助我们理解这项任务。雷鬼音乐是一种拉丁都市音乐流派，以其活泼的节奏和舞曲节奏而闻名，而 R&B（节奏布鲁斯）是一种植根于非裔美国音乐传统的音乐流派，其特点是深情的歌声和欢快与慢节奏歌曲的混合。