java_man1的博客

解析Transformer中正余弦位置编码的设计原理。文章首先指出绝对位置编码和可学习位置编码的缺陷：通过线性旋转实现相对位置建模，支持任意长度外推。重点解析10000作为底数的工程考量——该值能平衡高频维度对局部位置的细粒度感知与低频维度对长距离关系的宏观区分，是理论最优解。最后用钟表齿轮类比解释不同频率维度协同定位的机制

主题区分提示词工程、RAG、微调，面向开发、产品、AI新手。标题抓眼球，开头戳选型踩坑痛点，大白话讲解+对比表格，给出落地选型方案

本文介绍了RNN循环神经网络的计算过程，通过时序展开方式处理序列数据。文章详细演示了一个矩阵计算实例：设定2维输入/隐藏层，给出具体权重值，逐步计算t=1和t=2时刻的隐藏状态和输出结果。计算过程显示RNN通过共享权重矩阵W_xh、W_hh、W_hy实现时序信息传递，每个时间步依赖前一时刻的隐藏状态。最后指出RNN存在梯度消失/爆炸问题，

本文详细推导了RNN的反向传播算法BPTT。首先给出RNN前向传播公式，包括隐藏状态和输出的计算过程。BPTT的核心思想是沿时间维度回溯计算梯度，通过链式法则逐层求导。推导过程包括：1）输出端梯度计算；2）隐藏层误差δ的递推公式；3）各参数（W_{hy}, b_y, W_{xh}, W_{hh}, b_h）的梯度表达式。特别给出了tanh激活函数的导数形式。所有梯度均为时间步的累加，体现了RNN参数共享的特性。

1. GRU 核心创新：简化 LSTM 三门结构为更新 + 重置双门，去掉独立细胞状态，大幅降低计算开销；2. 整套数学逻辑四步走：计算重置门→更新门→候选状态→融合输出隐藏态；3. 选型黄金法则：短时序、线上实时、边缘部署选 GRU；超长离线高精度任务选 LSTM；4. 对比传统 RNN：彻底解决梯度消失，同时比 LSTM 轻量化，是工业性价比最高的时序基础模型。

LSTM（长短期记忆网络）是为解决RNN的长序列记忆和梯度消失问题而设计的。其核心是通过细胞状态（长期记忆）和隐藏状态（短期记忆）来保存信息，利用三个门控机制（遗忘门、输入门、输出门）选择性更新记忆。遗忘门决定丢弃哪些旧信息，输入门筛选新信息存入细胞状态，输出门控制当前记忆的输出。这种门控机制使LSTM能有效处理长序列依赖，避免梯度消失问题。整个过程通过Sigmoid和tanh函数调节信息流动，形成一条可长期保存关键信息的"记忆传送带"。

Seq2Seq模型是一种基于Encoder-Decoder架构的深度学习模型，用于将任意长度的输入序列转换为输出序列。其核心组件包括编码器（将输入压缩为语义向量）和解码器（自回归生成输出）。训练时采用Teacher Forcing策略，使用真实标签作为输入以加速收敛。典型应用包括机器翻译、对话生成、文本摘要等序列生成任务。模型通过注意力机制可动态聚焦输入的不同部分，提升生成质量。该架构支持多种神经网络实现（RNN/LSTM/Transformer），是自然语言处理领域的重要技术。

Prompt（提示词）定义 ,角色设定、任务描述、约束条件、格式要求和负面限制五个要素，通用模型适配到具体场景。常见Prompt类型包括零样本、少样本、思维链、系统设定等，Prompt各种类型对比