TracyCoder的博客

WSL 是微软推出的“Windows 子系统 Linux”。简单来说，它允许你在 Windows 电脑上运行一个完整的 Linux 系统（如 Ubuntu），而无需安装双系统或笨重的虚拟机。

人类感知世界的方式是全方位的：我们看（视觉）、听（听觉）、读（文本）、触碰（触觉）。传统的 AI 模型往往是“偏科生”，要么只懂文字，要么只懂图片。多模态 AI旨在构建能够处理和关联多种数据模态（Modality）信息的模型。

如果强行让 GPU 去读取系统内存，GPU 核心会有 90% 的时间在空转等待数据，这就是所谓的“显存瓶颈”。你可能会问：“我有 64GB 的电脑内存，为什么显卡还要自己带 12GB 显存？要理解 CPU 和 GPU 的区别，我们先抛开复杂的电路图，用一个经典的。计算机的强大，源于 CPU、GPU 和显存的完美配合。让我们深入芯片内部，看看它们的“大脑构造”有何不同。复杂的控制单元 Control Unit。数据传输带宽对比 (单位: GB/s)RTX 4090 显存 (GPU用)巨大的缓存 Cache。

在 GPT-4、Mixtral 8x7B 和 DeepSeek-MoE 等前沿模型背后，都隐藏着同一个架构——混合专家模型（Mixture of Experts）。这会使 MoE 退化成一个小的 Dense 模型。对于开发者而言，理解 MoE 不仅有助于使用 GPT-4 等闭源模型，更是掌握下一代开源大模型（如 Mixtral）的关键。在标准的 Transformer 架构中，MoE 层通常用来替换每层的 FFN（前馈网络）部分。（例如 8 个专家只选 2 个），未被选中的专家不参与计算，这就是 MoE。

BERT (Bidirectional Encoder Representations from Transformers) 是由Google在2018年提出的预训练语言模型，它彻底改变了自然语言处理领域。

它由 Google Brain 团队在 2017 年的论文中提出，并迅速成为自然语言处理的主流架构。

Transformer模型自2017年提出以来，彻底改变了自然语言处理领域。与传统的RNN和LSTM不同，Transformer完全基于注意力机制，能够并行处理整个序列。然而，这也带来了一个关键问题：如何让模型理解序列中元素的位置信息？在RNN中，位置信息是天然存在的——每个时间步的处理都依赖于前一个时间步。但在Transformer中，所有位置是并行处理的，因此需要显式地注入位置信息。这就是位置编码（Positional Encoding）的作用。

序列到序列（Sequence-to-Sequence，简称Seq2Seq）是一种用于处理输入序列到输出序列映射的神经网络架构，由Google团队在2014年提出（论文《Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation》）。核心思想：将可变长度的输入序列转换为固定长度的"上下文向量"，再基于该向量生成可变长度的输出序列，适用于机器翻译、文本摘要、对话系统等场景。

Q权重矩阵的作用是将输入序列中的每个元素（如词向量）转换为查询向量（Query Vector）。每个位置的查询向量（qiq_iqi​）代表该位置“想要获取的信息类型”。例如，在句子“猫追狗”中，“追”这个词的查询向量可能会主动去寻找“动作的发出者”和“动作的接收者”相关的信息。直观理解：可以把查询向量想象成“问题”——比如“我需要和谁关联？”“谁对我重要？K权重矩阵的作用是将输入序列中的每个元素转换为键向量（Key Vector）。每个位置的键向量（kjk_jkj​。

"的流程，首次实现了神经网络对语言的有效建模。其四大创新（分布式表示、非线性建模、同步学习、端到端架构）彻底改变了NLP的发展轨迹，是连接传统统计方法与现代深度学习NLP的关键里程碑。——它继承了NPLM的核心目标和核心思想，同时解决了NPLM的关键痛点，是神经概率语言模型从“固定窗口”走向“变长序列”的关键演进。，核心是学习"词的分布式表示"和"基于这些表示的概率函数"。NPLM的核心目标就是通过神经网络解决这些问题，实现更精准的语言概率建模。的开创性模型，它打破了传统统计语言模型的局限。

词嵌入（Word Embedding）是自然语言处理（NLP）中的一项核心技术，它将文本中的词语转换为低维实数向量，使得语义相近的词语在向量空间中距离相近。传统的文本表示方法（如独热编码）无法捕捉词语之间的语义关系，而词嵌入通过学习词语的上下文信息，能够揭示词语之间的内在联系。“词嵌入的核心思想是：出现在相似上下文中的词具有相似的含义。语义表示词嵌入将词语映射到连续向量空间，使得语义相关的词在空间中位置相近。上下文学习通过词语的上下文信息学习其表示，捕捉词语之间的语法和语义关系。下游任务。

N-Gram模型和Bag-of-words词袋模型作为NLP的基础技术，各有其独特的优势和局限性，适用场景也存在显著差异。评估维度N-Gram模型Bag-of-words词袋模型核心优势1. 保留文本序列信息，能捕捉词语间的相邻依赖关系；2. 原理简单，训练速度快，可通过平滑技术缓解数据稀疏问题；3. 对短文本的概率预测效果较好。1. 实现简单，计算效率高，易于理解和部署；2. 能有效捕捉文本的核心语义（基于词频）；3. 结合TF-IDF后可突出关键词语的重要性。主要缺点。