雨墨C-优快云博客

原创 LLM学习之路-02-第二章-部署与推理/vLLM使用PagedAttention轻松、快速且廉价地提供LLM服务（中文版翻译）

vLLM: 使用PagedAttention轻松、快速且廉价地提供LLM服务（中文翻译）

2025-04-23 10:15:00 1312

原创 LLM学习之路-02-第二章-部署与推理/DevOps，AIOps，MLOps，LLMOps，这些Ops都是什么？

DevOps, AIOps, MLOps, LLMOps，这些Ops都是什么？也许你会在很多地方看到这些词，或许AIOps和MLOps还会搞混淆，下面我们来一一解释这些Ops的含义，在开始之前，我们先了解一下CI/CD.

2025-04-23 10:00:00 957

原创 LLM学习之路-02-第二章-部署与推理/10分钟私有化部署大模型到本地

Ollama是一个开源的大型语言模型（LLM）服务工具，它旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。它允许开发者、研究人员和爱好者在本地环境中快速实验、管理和部署最新的大语言模型，包括但不限于Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。在Ollama的模型仓库。

2025-04-22 13:10:42 762

原创 LLM学习之路-01-第一章-预训练/神经网络的激活函数（六）GELU和Mish

GELU函数的数学表达式为：x 是输入。其中，是误差函数。Mish激活函数的数学表达式为：是Softplus函数。tanh⁡(x) 是双曲正切函数。

2025-04-22 10:15:00 804

原创 LLM学习之路-01-第一章-预训练/神经网络的激活函数（五）门控系列-GLU、Swish和SwiGLU

GLU函数的数学表达式为：其中 ⊗ 表示逐元素乘法，X 是输入，W 和 V 是权重矩阵，b 和 c 是偏置项。Swish函数的数学表达式为：x 是输入。σ 是Sigmoid函数，定义为。β 是一个可学习的参数，控制函数的形状。SwiGLU函数的数学表达式为：a 和 b 是输入张量。Swish(x)=x⋅σ(x) 是Swish激活函数。是Sigmoid激活函数。⊗ 表示逐元素乘法（Hadamard乘积）。

2025-04-22 10:00:00 1439

原创 LLM学习之路-01-第一章-预训练/神经网络的激活函数（四）ELU和它的变种SELU

ELU的数学表达式为：其中，是一个超参数，通常取值为1。SELU的数学表达式为：其中，α≈1.67326λ≈1.0507。

2025-04-21 20:31:00 648

原创 LLM学习之路-01-第一章-预训练/神经网络的激活函数（三）ReLU和它的变种

ReLU（Rectified Linear Unit，修正线性单元）激活函数是现代深度学习中最常用的激活函数之一。Leaky ReLU的数学表达式为：其中，是一个小的正数，通常取值在0.01左右。PReLU的数学表达式为：其中，是一个可学习的参数，而不是一个固定的常数。

2025-04-21 20:27:11 804

原创 LLM学习之路-01-第一章-预训练/神经网络的激活函数（二）Sigmiod、Softmax和Tanh

给定一个包含个实数的向量，Softmax函数将其转换为一个概率分布Tanh函数（双曲正切函数）是一个常见的激活函数，广泛应用于神经网络和机器学习中。它的数学表达式为：Tanh函数的导数可以表示为：这意味着在输入值接近 −1 或 1 时，导数值接近0，而在输入值接近0时，导数值接近1今天我们介绍了三个古老的激活函数，它们在神经网络中仍然有着广泛的应用。Sigmoid函数作为一种非线性函数，可以引入非线性变换，增加神经网络的表达能力；

2025-04-21 20:22:06 765