一篇文章讲透大模型核心概念_大模型的分拣机制-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_34452850/article/details/145550128

AI 发展历程

AI发展历程

传统编程指令 vs 机器学习

传统编程

*定义:*

传统编程是一种通过明确的指令和规则来告诉计算机如何完成任务的编程方式。程序员需要详细地编写每一步操作的代码，计算机会严格按照这些指令执行。

*特点:*

*明确的规则:* 程序员需要明确地定义每个步骤和规则。
*确定性:* 给定相同的输入，程序会始终产生相同的输出。
*依赖专家知识:* 需要程序员对问题领域有深入的理解，以便编写详细的逻辑和规则。

*例子:*

假设我们要编写一个程序来判断一个数字是奇数还是偶数。

def is_even(number):
    if number % 2 == 0:
        return True
    else:
        return False

在这个例子中，程序员明确地定义了如何判断一个数字是偶数（即数字除以2余数为0）。

机器学习

*定义:*

机器学习是一种通过数据训练模型，使计算机能够自动从数据中学习模式和规律的编程方式。程序员不需要明确地编写每一步操作的代码，而是通过提供大量的示例数据，让计算机自行学习。

*特点:*

*数据驱动:* 依赖大量的数据来训练模型。
*不确定性:* 给定相同的输入，输出可能会有所不同，取决于模型的训练和随机因素。
*自动化学习:* 计算机通过数据自主学习，不需要明确的规则定义。

*例子:*

假设我们要训练一个模型来判断一张图片中是否有猫。我们可以使用一个包含大量猫和非猫图片的训练集，通过机器学习算法（如卷积神经网络）来训练模型。

**训练集（Training Set）****：用于训练机器学习模型的数据集。它包含输入数据和对应的目标标签，模型通过学习这些数据中的模式和规律来调整其参数

**测试集（Test Set）****：用于评估机器学习模型性能的数据集。它包含输入数据和对应的目标标签，但这些数据在模型训练过程中是不可见的。

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_digits

# 加载数据集
digits = load_digits()
X = digits.data
y = digits.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = RandomForestClassifier()
model.fit(X_train, y_train)

# 预测
predictions = model.predict(X_test)

在这个例子中，我们使用了一个现成的数据集和机器学习模型（随机森林分类器），通过训练数据来让模型自动学习如何分类数字。

传统编程 vs 机器学习

*1. 编程方式:*

*传统编程:* 程序员编写明确的规则和指令。
*机器学习:* 程序员提供数据和算法，模型通过学习数据中的模式来做出决策。

*2. 适用场景:*

*传统编程:* 适用于规则明确、逻辑清晰的问题，如计算公式、数据处理等。
*机器学习:* 适用于规则复杂、难以明确定义的问题，如图像识别、语音识别、推荐系统等。

*3. 处理方式:*

*传统编程:* 需要详细的步骤和逻辑，依赖人类专家的知识。
*机器学习:* 依赖大量数据，通过学习数据中的模式和规律来做出决策。

自然语言（NL）

自然语言处理（NLP）

*定义:*

***自然语言处理（Natural Language Processing, NLP）*****是计算机科学和人工智能的一个子领域，致力于实现计算机对人类语言的理解、解读和生成。NLP涵盖了从文本处理到语音识别的广泛任务。

*例子:*

*文本分类:* 电子邮件过滤系统可以使用NLP来自动将邮件分类为“垃圾邮件”或“非垃圾邮件”。
*情感分析:* 社交媒体监控工具可以使用NLP来分析用户评论的情感倾向（正面、负面或中性）。

自然语言理解（NLU）

*定义:*

***自然语言理解（Natural Language Understanding, NLU）*****是NLP的一个子领域，专注于使计算机能够理解和解释人类语言的含义。NLU涉及语义分析、意图识别、实体识别等任务。

*例子:*

*意图识别:* 在智能语音助手中，当用户说“帮我订一张明天去纽约的机票”，系统需要识别用户的意图是“订票”。
*实体识别:* 在同一句话中，系统需要识别出“纽约”是一个地名，“明天”是一个时间表达。

自然语言生成（NLG）

*定义:*

***自然语言生成（Natural Language Generation, NLG）*****是NLP的另一个子领域，旨在使计算机能够生成自然、人类可读的语言文本。NLG通常用于自动报告生成、内容创作等场景。

*例子:*

*自动报告:* 金融分析工具可以使用NLG来生成每日或每周的市场分析报告。
*内容创作:* 新闻自动写作系统可以根据输入的数据生成新闻文章，如体育比赛的赛后报道。

通俗易懂的例子

假设我们有一个智能语音助手（如Siri或Alexa），以下是NLP、NLU和NLG在其中的具体应用：

*用户输入:* 用户说：“明天的天气怎么样？”
*自然语言处理（NLP）😗
- *语音识别:* 首先将用户的语音转换为文本：“明天的天气怎么样？”
- *文本预处理:* 清理和规范化文本，如去除多余的空格或标点。
*自然语言理解（NLU）😗
- *意图识别:* 系统识别用户的意图是询问天气。
- *实体识别:* 系统识别出“明天”是时间相关的实体。
*数据处理:* 系统查询天气数据库，获取“明天”的天气信息。
*自然语言生成（NLG）😗
- *生成文本:* 系统将查询结果转换为自然语言文本：“明天的天气是晴天，最高气温25度，最低气温15度。”
- *语音合成:* 将生成的文本转换为语音，并播放给用户。