Happygx-tech-优快云博客

原创注意力机制与Transformer

摘要：Transformer模型通过注意力机制突破传统Seq2Seq框架的瓶颈。注意力机制动态分配权重，使模型能聚焦输入序列的关键部分，解决长距离依赖问题。Transformer完全摒弃RNN结构，采用多头注意力并行处理序列信息，配合位置编码保留顺序特征。该架构支持高效并行计算，但面临O(n²)复杂度挑战。基于Transformer的BERT、GPT等预训练模型通过不同模块组合，在各类NLP任务中展现出强大性能。注意力机制已成为深度学习的核心组件，广泛应用于NLP、CV等领域。

2026-02-18 23:15:51 632

原创深度学习中的序列处理模型

本文探讨了深度学习中的序列建模方法，重点分析了循环神经网络(RNN)及其改进版本LSTM和GRU。RNN通过隐状态捕捉时间依赖性，但存在梯度消失/爆炸问题。LSTM引入细胞状态和三个门控机制(遗忘门、输入门、输出门)来优化长期记忆能力。GRU作为简化版本，合并门控结构减少参数量。文章对比了三者的数学原理和PyTorch实现，指出LSTM适合复杂任务，GRU在资源受限时更具优势。尽管Transformer兴起，RNN系列在实时处理和时序预测中仍不可替代。

2026-02-15 23:18:46 604

原创具身中的视觉感知：从2D感知到3D交互的完整技术栈

在具身智能（Embodied AI）时代，机器人不仅需要"看见"世界，更要"理解"世界的三维结构与空间关系。本文系统梳理了具身智能中的核心视觉感知技术：从SAM分割与单目深度估计的3D场景理解，到YOLO系列演进与注意力机制的可解释性分析，再到手眼标定的坐标系统一。我们将通过原理讲解、代码实战与工程经验，构建一套完整的视觉感知技术体系。

2026-02-15 17:25:49 900

原创文本表示与词向量学习心得

摘要本文系统梳理了文本表示与词向量学习的核心内容。学习路径从基础文本预处理（jieba分词、词性标注）开始，逐步深入传统文本表示方法（BoW、TF-IDF、LDA主题模型）和现代词向量技术（Word2Vec）。重点分析了基于PyTorch的深度学习文本分类实现，详细解析了包含Embedding层、MLP特征提取、掩码平均池化和分类层的神经网络架构，以及包含模型保存、数据加载等关键环节的训练流程。最后总结了从原始文本到向量表示再到建模的完整处理流水线，并建议后续可尝试LSTM/GRU架构或预训练词向量来进一

2026-02-12 17:20:39 604

原创 CartPole控制算法学习心得

本文总结了CartPole控制算法的学习心得。首先介绍了使用mamba配置环境的优势，其并行运算能力显著提高效率。然后探讨了三种控制方法：PID控制实现简单但存在稳态误差；LQR提供最优反馈但对非线性系统适用性有限；MPC能进行多步预测但计算复杂度高。针对每种方法都分析了核心思想、关键要点，并给出优化建议，如PID加入积分项、LQR预先计算增益矩阵、MPC使用专用QP解算器等。这些控制算法在CartPole问题中各有特点，需要根据实际需求进行选择和优化。

2026-02-11 12:40:48 383