什么是大模型自注意力机制？大模型入门到精通，收藏这篇就够了

最新推荐文章于 2025-11-24 18:29:32 发布
原创 最新推荐文章于 2025-11-24 18:29:32 发布 · 991 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #算法


目录

一、可训练自注意力机制详解

1.1 为什么需要可训练权重？

1.2 查询(Q)、键(K)、值(V)三元组

二、逐步实现可训练自注意力

2.1 初始化权重矩阵

2.2 计算查询、键、值向量

2.3 计算注意力分数

2.4 缩放与Softmax归一化

2.5 计算上下文向量

三、完整自注意力类实现

3.1 基础实现（使用nn.Parameter）

3.2 优化实现（使用nn.Linear）

3.3 两种实现方式对比

四、缩放点积注意力的数学原理

4.1 缩放因子的必要性

4.2 注意力机制的可视化

五、在大语言模型中的实际应用

5.1 GPT中的自注意力层

5.2 实际模型配置对比

六、训练过程中的行为分析

6.1 权重演变可视化

6.2 学习到的注意力模式变化

七、常见问题与解决方案

7.1 梯度消失/爆炸问题

7.2 计算效率优化

八、高级话题：查询、键、值的本质

8.1 信息检索的类比

​8.2 不同模型中的QKV实现

九、总结与展望

9.1 关键收获

9.2 下一步方向

可训练权重赋予模型学习能力：本节将深入实现带有可训练权重的自注意力机制，这是Transformer架构的核心创新，也是GPT等大语言模型成功的关键所在。

一、可训练自注意力机制详解

1.1 为什么需要可训练权重？

核心优势：

  1. 适应性：模型可以学习特定任务的最佳表示

  2. 表达能力：增强捕捉复杂模式的能力

  3. 泛化能力：在不同上下文和任务中表现更好

1.2 查询(Q)、键(K)、值(V)三元组

\begin{aligned} Q &= X W^Q \ K &= X W^K \ V &= X W^V \end{aligned}

其中：

  • X：输入嵌入矩阵

  • W^Q, W^K, W^V：可训练权重矩阵

二、逐步实现可训练自注意力

2.1 初始化权重矩阵

import torch
import torch.nn as nn

# 输入输出维度设置
d_in = 3  # 输入维度
d_out = 2  # 输出维度

# 初始化可训练权重矩阵
torch.manual_seed(123)
W_query = nn.Parameter(torch.rand(d_in, d_out), requires_grad=True)
W_key = nn.Parameter(torch.rand(d_in, d_out), requires_grad=True)
W_value = nn.Parameter(torch.rand(d_in, d_out), requires_grad=True)

print("W_query:\n", W_query)
print("W_key:\n", W_key)
print("W_value:\n", W_value)

2.2 计算查询、键、值向量

# 输入数据
inputs = torch.tensor([
    [0.43, 0.15, 0.89],  # Your
    [0.57, 0.85, 0.64],  # journey
    [0.55, 0.87, 0.66],  # starts
    [0.77, 0.25, 0.10],  # with
    [0.05, 0.80, 0.55],  # one
    [0.48, 0.69, 0.35]   # step
])

# 计算查询向量（以"journey"为例）
x_2 = inputs[1]  # 第二个词元"journey"
query_2 = x_2 @ W_query
print("\n查询向量(query_2):", query_2)

# 计算所有键和值向量
keys = inputs @ W_key
values = inputs @ W_value
print("\n键向量(keys):\n", keys)
print("\n值向量(values):\n", values)

2.3 计算注意力分数

# 计算"journey"与其他所有词的注意力分数
attn_scores_2 = query_2 @ keys.T
print("\n注意力分数:", attn_scores_2)

2.4 缩放与Softmax归一化

# 缩放因子：键向量维度的平方根
d_k = keys.shape[-1]
scaled_attn_scores = attn_scores_2 / (d_k ** 0.5)

# Softmax归一化
attn_weights_2 = torch.softmax(scaled_attn_scores, dim=-1)
print("\n注意力权重:", attn_weights_2)
print("权重和:", attn_weights_2.sum().item())  # 应为1.0

2.5 计算上下文向量

# 加权求和值向量
context_vec_2 = attn_weights_2 @ values
print("\n上下文向量:", context_vec_2)

三、完整自注意力类实现

3.1 基础实现（使用nn.Parameter）

class SelfAttention_v1(nn.Module):
    def __init__(self, d_in, d_out):
        super().__init__()
        # 初始化可训练权重
        self.W_query = nn.Parameter(torch.rand(d_in, d_out))
        self.W_key = nn.Parameter(torch.rand(d_in, d_out))
        self.W_value = nn.Parameter(torch.rand(d_in, d_out))
    
    def forward(self, x):
        # 计算Q, K, V
        queries = x @ self.W_query
        keys = x @ self.W_key
        values = x @ self.W_value
        
        # 计算注意力分数
        attn_scores = queries @ keys.T
        
        # 缩放
        d_k = keys.shape[-1]
        scaled_attn_scores = attn_scores / (d_k ** 0.5)
        
        # Softmax归一化
        attn_weights = torch.softmax(scaled_attn_scores, dim=-1)
        
        # 计算上下文向量
        context_vec = attn_weights @ values
        
        return context_vec

# 测试
torch.manual_seed(123)
sa_v1 = SelfAttention_v1(d_in, d_out)
output = sa_v1(inputs)
print("\nSelfAttention_v1输出:\n", output)

3.2 优化实现（使用nn.Linear）

class SelfAttention_v2(nn.Module):
    def __init__(self, d_in, d_out, qkv_bias=False):
        super().__init__()
        # 使用nn.Linear代替手动权重管理
        self.W_query = nn.Linear(d_in, d_out, bias=qkv_bias)
        self.W_key = nn.Linear(d_in, d_out, bias=qkv_bias)
        self.W_value = nn.Linear(d_in, d_out, bias=qkv_bias)
        
        # 更稳定的初始化
        self._init_weights()
    
    def _init_weights(self):
        # Xavier/Glorot初始化
        nn.init.xavier_uniform_(self.W_query.weight)
        nn.init.xavier_uniform_(self.W_key.weight)
        nn.init.xavier_uniform_(self.W_value.weight)
        
        if self.W_query.bias is not None:
            nn.init.zeros_(self.W_query.bias)
            nn.init.zeros_(self.W_key.bias)
            nn.init.zeros_(self.W_value.bias)
    
    def forward(self, x):
        # 计算Q, K, V
        queries = self.W_query(x)
        keys = self.W_key(x)
        values = self.W_value(x)
        
        # 计算注意力分数
        attn_scores = queries @ keys.transpose(-2, -1)
        
        # 缩放
        d_k = keys.size(-1)
        scaled_attn_scores = attn_scores / (d_k ** 0.5)
        
        # Softmax归一化
        attn_weights = torch.softmax(scaled_attn_scores, dim=-1)
        
        # 计算上下文向量
        context_vec = attn_weights @ values
        
        return context_vec

# 测试
torch.manual_seed(123)
sa_v2 = SelfAttention_v2(d_in, d_out)
output = sa_v2(inputs)
print("\nSelfAttention_v2输出:\n", output)

3.3 两种实现方式对比

特性SelfAttention_v1SelfAttention_v2
权重管理手动管理自动管理
初始化简单随机优化初始化
偏置支持无可选
代码简洁性较低较高
可扩展性有限良好
实际应用教学演示生产环境

四、缩放点积注意力的数学原理

4.1 缩放因子的必要性

\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

为什么需要 \sqrt{d_k}？

  1. 当 d _ k d\_k d_k 较大时，点积结果可能非常大

  2. 导致 softmax 进入梯度饱和区

  3. 梯度变小，训练困难

# 缩放效果演示
d_k_large = 1024
unscaled = torch.randn(1, d_k_large) @ torch.randn(d_k_large, 1)
scaled = unscaled / (d_k_large ** 0.5)

print(f"未缩放: {unscaled.item():.2f}, 缩放后: {scaled.item():.2f}")
# 示例输出: 未缩放: 32.15, 缩放后: 1.00

4.2 注意力机制的可视化

import matplotlib.pyplot as plt
import seaborn as sns

def visualize_attention(model, inputs):
    # 获取注意力权重
    with torch.no_grad():
        queries = model.W_query(inputs)
        keys = model.W_key(inputs)
        attn_scores = queries @ keys.T
        d_k = keys.shape[-1]
        scaled_attn_scores = attn_scores / (d_k ** 0.5)
        attn_weights = torch.softmax(scaled_attn_scores, dim=-1)
    
    # 可视化
    plt.figure(figsize=(10, 8))
    sns.heatmap(attn_weights.numpy(), 
                annot=True, fmt=".2f",
                xticklabels=["Your", "journey", "starts", "with", "one", "step"],
                yticklabels=["Your", "journey", "starts", "with", "one", "step"])
    plt.title("可训练自注意力权重")
    plt.xlabel("Key")
    plt.ylabel("Query")
    plt.show()

# 可视化
visualize_attention(sa_v1, inputs)

五、在大语言模型中的实际应用

5.1 GPT中的自注意力层

class GPTAttentionBlock(nn.Module):
    def __init__(self, d_model, n_heads):
        super().__init__()
        self.d_model = d_model
        self.n_heads = n_heads
        self.head_dim = d_model // n_heads
        
        # 查询、键、值投影
        self.W_q = nn.Linear(d_model, d_model)
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        
        # 输出投影
        self.W_o = nn.Linear(d_model, d_model)
        
    def forward(self, x):
        batch_size, seq_len, _ = x.shape
        
        # 线性投影
        Q = self.W_q(x)
        K = self.W_k(x)
        V = self.W_v(x)
        
        # 分割多头
        Q = Q.view(batch_size, seq_len, self.n_heads, self.head_dim).transpose(1, 2)
        K = K.view(batch_size, seq_len, self.n_heads, self.head_dim).transpose(1, 2)
        V = V.view(batch_size, seq_len, self.n_heads, self.head_dim).transpose(1, 2)
        
        # 计算注意力分数
        attn_scores = Q @ K.transpose(-2, -1) / (self.head_dim ** 0.5)
        
        # 应用softmax
        attn_weights = torch.softmax(attn_scores, dim=-1)
        
        # 加权求和
        context = attn_weights @ V
        
        # 合并多头
        context = context.transpose(1, 2).contiguous()
        context = context.view(batch_size, seq_len, self.d_model)
        
        # 输出投影
        output = self.W_o(context)
        
        return output

5.2 实际模型配置对比

模型隐藏维度注意力头数头维度总参数量
GPT-2 Small7681264117M
GPT-2 Medium10241664345M
GPT-2 Large12802064774M
GPT-3 175B1228896128175B

六、训练过程中的行为分析

6.1 权重演变可视化

def track_attention_evolution(model, inputs, word_idx, num_epochs=100):
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    context_vecs = []
    
    # 简单训练任务：使输出接近某种目标
    target = torch.randn(d_out)
    
    for epoch in range(num_epochs):
        optimizer.zero_grad()
        output = model(inputs)
        loss = torch.nn.functional.mse_loss(output[word_idx], target)
        loss.backward()
        optimizer.step()
        
        # 记录上下文向量
        context_vecs.append(output[word_idx].detach().numpy())
    
    # 可视化演变
    plt.figure(figsize=(12, 6))
    context_vecs = np.array(context_vecs)
    for i in range(d_out):
        plt.plot(context_vecs[:, i], label=f'维度 {i+1}')
    plt.title(f"词元 '{['Your','journey','starts','with','one','step'][word_idx]}' 的上下文向量演变")
    plt.xlabel("训练周期")
    plt.ylabel("值")
    plt.legend()
    plt.grid(True)
    plt.show()

# 跟踪"journey"的上下文向量演变
track_attention_evolution(sa_v1, inputs, word_idx=1)

6.2 学习到的注意力模式变化

七、常见问题与解决方案

7.1 梯度消失/爆炸问题

解决方案：

  1. 权重初始化（如Xavier初始化）

  2. 梯度裁剪

  3. Layer Normalization

class StableSelfAttention(nn.Module):
    def __init__(self, d_in, d_out):
        super().__init__()
        self.attn = SelfAttention_v2(d_in, d_out)
        self.norm = nn.LayerNorm(d_out)  # 添加层归一化
    
    def forward(self, x):
        residual = x
        x = self.attn(x)
        return self.norm(x + residual)  # 残差连接

7.2 计算效率优化

def efficient_attention(Q, K, V):
    # 分块计算，减少内存占用
    batch_size, seq_len, _ = Q.shape
    chunk_size = 64  # 根据GPU内存调整
    
    output = torch.zeros_like(V)
    for i in range(0, seq_len, chunk_size):
        Q_chunk = Q[:, i:i+chunk_size]
        attn_scores = Q_chunk @ K.transpose(-2, -1)
        attn_weights = torch.softmax(attn_scores / (K.shape[-1]**0.5), dim=-1)
        output[:, i:i+chunk_size] = attn_weights @ V
    
    return output

八、高级话题：查询、键、值的本质

8.1 信息检索的类比

在注意力机制中：

  • 查询：当前关注的词元（“我想了解什么？”）

  • 键：所有词元的标识（“我能提供什么信息？”）

  • 值：词元包含的实际内容（“我的具体内容是什么？”）

8.2 不同模型中的QKV实现

模型QKV处理特点
Transformer独立投影标准实现
GPT共享输入自回归特性
BERT双向融合上下文双向关注
T5相对位置位置感知注意力

九、总结与展望

9.1 关键收获

  1. 可训练权重：赋予模型学习不同表示空间的能力

  2. 缩放点积：解决大维度下的梯度消失问题

  3. 模块化实现：为构建更复杂架构奠定基础

9.2 下一步方向

  1. 因果注意力：添加掩码实现自回归生成

  2. 多头注意力：并行捕捉多种关系模式

  3. 性能优化：FlashAttention等加速技术

“可训练的自注意力机制是现代大语言模型的基础，它使模型能够动态地关注输入的不同部分，这是实现真正语境理解的关键突破。”

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享**

一、2025最新大模型学习路线

一个明确的学习路线可以帮助新人了解从哪里开始，按照什么顺序学习，以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1级别:AI大模型时代的华丽登场

L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的核心原理，关键技术，以及大模型应用场景；通过理论原理结合多个项目实战，从提示工程基础到提示工程进阶，掌握Prompt提示工程。

L2级别：AI大模型RAG应用开发工程

L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3级别：大模型Agent应用架构进阶实践

L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体；同时还可以学习到包括Coze、Dify在内的可视化工具的使用。

L4级别：大模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调；并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握；而L3 L4更多的是通过项目实战来掌握大模型的应用开发，针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

二、大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

三、大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

四、大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。


因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2025最新版优快云大礼包：《AGI大模型学习资源包》免费分享

什么是大模型？（超详细）大模型从入门到精通，看这一篇就够了
weixin_45607947的博客
07-17 1万+
大模型是指具有数千万甚至数亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。大模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型采用预训练+微调的训练模式，在大规模数据上进行训练后，能快速适应一系列下游任务的模型。
DeepSeek大模型基本原理入门到精通
05-13
其多头潜在注意力机制（MLA）大幅减少了KV缓存需求，有效降低了推理成本。混合专家模型（MoE）则通过门控网络高效分配任务，实现了不同子模型间的协同工作。另外，DeepSeek R1模型在训练和推理成本上相对较低，采用...
什么是AI大模型？大模型入门到精通，收藏这篇就够了
热门推荐
2302_77302329的博客
05-08 7万+
保持学习：每周跟踪arXiv最新论文实战优先：从微调开源模型（如LLaMA）开始关注伦理：建立AI安全防护意识技术交流：你在实际项目中遇到过大模型应用的哪些挑战？欢迎评论区讨论！
什么是大模型？大模型零基础入门到精通，收藏这篇就够了
m0_48891301的博客
06-16 1510
在开始了解大模型之前，我们先理解一些基础概念，掌握这些专业名词的概念，以及概念之间的关系，会有利于你后续阅读和学习任何AI和大模型相关的内容，个人花费了挺多时间去梳理他们之间的关系，所以这部分一定要好好阅读；
大模型系列八：什么是自注意力（what is self-attention）,大模型入门到精通，收藏这篇就足够了！
2301_81888214的博客
09-29 1083
自注意力（Self-Attention）是Transformer模型中一种让模型自动捕捉同一序列内部元素之间关系的机制。
大模型是如何训练的？大模型入门到精通，收藏这一篇就够了
Python_paipai的博客
10-26 2030
大模型（Large Models）的训练是近年来人工智能领域的核心技术之一，尤其是在自然语言处理、计算机视觉等任务中，如 GPT、BERT 等模型的成功背后，离不开复杂的训练过程。本文将为你介绍大模型是如何训练的，包括数据准备、模型架构、训练方法和硬件支持等方面。大模型的训练需要大量的数据，因为它们需要从海量信息中学习模式和规律。
什么是大模型？（非常详细）大模型从入门到精通，收藏这一篇就够了
2401_85343303的博客
05-23 1153
本文介绍了大模型的定义、分类及其核心特点。大模型指具有数千万至数亿参数的深度学习模型，通过预训练+微调模式实现通用化能力，与小模型相比具有参数多、训练数据量大、计算资源需求高等特点。按输入数据类型可分为语言大模型、视觉大模型和多模态大模型；按应用领域分为L0通用大模型、L1行业大模型和L2垂直大模型。重点分析了大语言模型(LLM)的Transformer架构，其核心是注意力机制和位置编码技术，使模型能精准理解文本语义关系并保持高效并行计算能力。
什么是大模型？大模型从入门到精通，看这一篇就够了（超详细）
lvaolan的博客
01-22 4693
大模型是指具有数千万甚至数亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。
大模型开发需要学什么？大模型入门到精通，收藏这篇就够了
Hacker_xingchen的博客
11-09 1489
Prompt Engineering 涉及为大型语言模型设计有效的输入（Prompts），以引导模型生成所需的输出。这个过程不仅需要精确表达问题或需求，而且要格式化输出以适应特定应用。
大模型从入门到精通，看这一篇就够了，什么是大模型？（超详细）
2401_84494441的博客
12-11 1138
大模型是指具有数千万甚至数亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。大模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型采用预训练+微调的训练模式，在大规模数据上进行训练后，能快速适应一系列下游任务的模型。
（什么是AI大模型）大模型入门到精通，收藏这篇就够了！一文搞懂什么是大模型？
2401_84204413的博客
04-11 1477
典型模型参数对比（2023）models = {保持学习：每周跟踪arXiv最新论文实战优先：从微调开源模型（如LLaMA）开始关注伦理：建立AI安全防护意识技术交流：你在实际项目中遇到过大模型应用的哪些挑战？欢迎评论区讨论！
北京大学：大模型deepseek教程集合（从入门到精通)
05-07
随着教程的深入，学习者会逐步了解到不同类型的深度学习模型，如卷积神经网络(CNN)、循环神经网络(RNN)以及最新的注意力机制模型等。每个模型的讲解都会结合实际的案例，通过展示模型在特定问题上的应用，帮助学习者...
人工智能AI大模型学习与资源全攻略：从入门到精通的系统化学习路径与实用资源推荐
05-19
使用场景及目标：①帮助学习者掌握AI大模型的基础理论和技术，如Transformer架构、自注意力机制等；②提供实践操作的机会，如参与开源项目、构建小型项目，提升实际应用能力；③推荐优质的学习资源，如在线课程、...
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 211
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 324
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 511
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 166
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1703
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 480
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值