墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
1k累计阅读
1.1k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
value=word_index["<PAD>"],
padding='post',
maxlen=256)
padding：‘pre’或‘post’。在数据的头部或者尾部填充数据。
maxlen ：将数据填充的最大长度
value：填充的值
Transformer核心架构图解：从QKV到位置编码的完整数据流
在深度学习模型处理序列数据时，循环网络按时间步逐步传递状态，难以并行且存在长期依赖问题。Transformer 通过自注意力机制，让输入序列中任意两个位置直接建立依赖，实现全局建模与并行计算，成为大语言模型、视觉模型和语音模型的通用底座。其核心原理可拆解为：输入向量经线性投影得到 Q、K、V 三个矩阵，Q 与 K 点积计算注意力分数，再对 V 加权求和，最终完成上下文信息的融合。这一过程中，位置编码为模型补充顺序感知能力，残差连接与层归一化保障深层网络稳定训练。基于该架构衍生出 BERT、GPT、ViT 等
tf.keras.preprocessing.sequence.pad_sequences函数
函数原型 tf.keras.preprocessing.sequence.pad_sequences( sequences, maxlen=None, dtype='int32', padding='pre', truncating='pre', value=0.0 ) 函数说明 pad_sequences函数用于对序列进行填充。参数sequences表示需要被填充的序列，参数maxlen表示填充后每一行最大的长度。 参数padding表示填充方式，是在前面
PyTorch从零实现Transformer：手写注意力、位置编码与训练全流程
Transformer是现代自然语言处理的基石架构，其核心在于自注意力机制与位置编码协同建模长程依赖。理解其原理需穿透框架封装，回归张量运算本质：QKV投影如何实现特征解耦，缩放点积为何防止softmax饱和，正弦位置编码怎样保障泛化性与相对位置感知。这些技术价值直接支撑文本生成、机器翻译等关键场景。本文聚焦可复现的工程实践，以PyTorch手写Multi-Head Self-Attention和Positional Encoding为核心，结合梯度裁剪、因果掩码、top-k采样等真实训练技巧，带你构建一个
tensorflow（三）-学习笔记整理
多分类图像识别案例 CIFAR-10 CIFAR-10数据集由10个类别的60000 32x32彩色图像组成，每个类别有6000张图像。有50000个训练图像和10000个测试图像。数据集分为五个训练集和一个测试集，每个集有10000个图像。测试集包含来自每个类的正好1000个随机选择的图像。训练集的每个类别5000个图像。图像类别如下： 数据集下载 里面有很多种版本，这里下载 CIFAR-10二进制版本。 二进制版本格式 二进制版本包含文件data_batch_1.bin，data_batch_2.bi
Hugging Face Transformers v5 Tokenizer 架构升级详解
Tokenizer 是大语言模型文本处理的基石，其核心在于将原始字符串确定性地映射为 token ID 序列，并保障 offset 对齐、空格还原与批量一致性。传统 WordPiece/BPE 实现常因标准化、预分词、子词建模、后处理与解码五阶段耦合而引发边界漂移、chat role 错位及 decode 多余空格等问题。Transformers v5 通过显式暴露 Rust backend 的五段式流水线（Normalizer/Pre-tokenizer/Model/Post-processor/Deco
手搓Vision Transformer：从Patch Embedding到位置编码的原理实践
Vision Transformer（ViT）作为将Transformer架构引入视觉任务的基础模型，其核心在于将图像建模为序列数据。理解其工作原理需回归本质：patch embedding并非简单切片，而是像素块到高维语义向量的可学习映射；位置编码不是辅助装饰，而是弥补自注意力排列不变性的数学契约。技术价值体现在对模型结构、梯度流与泛化能力的深度掌控，支撑工业质检、医疗影像等对可解释性与鲁棒性要求严苛的场景。本文聚焦ViT-Base的底层实现逻辑，详解patch嵌入维度对齐、CLS token梯度路由、正
深度学习：自然语言处理（Tokenizer和pad_sequences）
自然语言处理（Tokenizer和pad_sequences）
7 Transform结构
面试者经常会问transform这个模型，一个典型的seq2seq结构。
TensorFlow 从入门到精通（14）—— 初识循环神经网络
hello,大家好，我又回来了，如约，更新循环神经网络。 最近好像事情变少了，但是状态还是很差。新生班级要展示了，希望51班大哥们能拿个好名次。这篇博客，是用LSTM/RNN来对影评进行分析，这个网络挺复杂，训练了好久，能感觉出来GPU的作用了。 另外，我还打算开辟一个机器学习专栏，不知道大家怎么看。后面有投票，希望大家能投一下！！谢谢！！！！ 下一次更新迁移学习，这个已经在准备啦，很快啦！！ import tensorflow as tf tf.__version__ '2.6.0' tf.tes.
自注意力机制详解：从QKV计算到Transformer架构实现
注意力机制是深度学习中的核心概念，它模拟了人类在处理信息时对不同部分的关注程度差异。其基本原理是通过计算查询与键的相似度，对值进行加权聚合，从而动态聚焦于相关信息。这一机制在自然语言处理和计算机视觉等领域展现出巨大技术价值，能够有效建模长距离依赖关系。在应用场景上，注意力机制最初用于机器翻译的编码器-解码器对齐，随后演变为自注意力形式，成为Transformer架构的基石。自注意力机制通过让序列中的每个元素关注所有其他元素，实现了全局上下文建模，解决了传统RNN和CNN在并行计算与长程依赖方面的瓶颈。该机制
【NLP】第十二章：Transformer原理、计算流程以及代码实现-2
完整的Transformer算法的。因为要确保此后我们手动计算的数据流是正确的,就是至少要和pytorch计算出来的结果一致的,才能证明我们对Transformer的理解是没有偏差的。：这两个类是Transformer编码器的实现和解码器的实现，其中nn.TransformerEncoder包含了多个nn.TransformerEncoderLayer层的堆叠。通常不同的LNP任务上会使用Transformer架构的不同部分，很多更优的模型也是在Transformer的基础上调整改造的。
[机器学习编程]-序列填充(sequence padding)
在NLP编程过程中，经常遇到对文本语料数据的处理，也涉及到对文本序列数据的填充操作。本文介绍了数字和文本序列填充的基本方法。
毕业设计实战：基于Transformer的序列数据二分类完整项目（含可运行代码+预处理数据）
简介：本项目为面向本科生/研究生的深度学习毕业设计实战资源，聚焦Transformer架构在序列数据二分类任务中的端到端实现。项目严格遵循“数据→预处理→模型构建→训练→评估→可视化”全流程，基于PyTorch框架复现经典Transformer编码器结构，内置自注意力与前馈网络模块，支持文本、时序等典型序列输入。所有代码经本地环境验证可一键运行，配套README详述部署步骤、超参配置及结果解读，显著降低入门门槛，助力学生快速掌握Transformer建模核心能力与工程落地规范。
从零实现语言模型训练闭环：因果掩码、label shift与梯度控制
语言模型训练本质是自回归建模过程，其核心在于准确实现因果依赖约束与概率损失优化。理解因果掩码的数学定义（i≥j时允许注意力）和广播实现原理，是避免attention泄漏的前提；而label shift（input_ids左移+末尾填-100）与ignore_index协同机制，则直接决定CrossEntropyLoss能否正确忽略padding并聚焦有效预测。这些细节共同构成训练稳定性的技术底座——当小规模Transformer在WikiText-2上验证loss降至2.0以下，背后是mask对齐、梯度裁剪
【Excel VBA 编程】表格内自动生成进度条
在表格中生成进度条，进度条需要自适应单元格的宽度，根据不同进度区间变换颜色，并且按照进度数据大小显示其长短
Flowable多数据源实战：从配置到指定Schema的避坑指南
本文详细介绍了Flowable多数据源配置的实战指南，包括基础配置、数据源Bean创建、指定Schema的进阶配置以及常见问题排查。通过具体代码示例和避坑建议，帮助开发者高效实现多租户系统中的工作流引擎集成，特别强调了schema设置和事务管理的注意事项。
Transformer为何只用LayerNorm？深入解析归一化技术选择与原理
归一化技术是深度学习中的基础组件，旨在通过规范化网络层输入分布来稳定训练过程。其核心原理在于缓解内部协变量偏移，从而加速模型收敛并允许使用更大的学习率。在工程实践中，不同的归一化方法适用于不同的数据结构和任务场景。BatchNorm（批归一化）在图像处理领域表现出色，它依赖批次统计量进行横向归一化，但对批次大小敏感且训练推理不一致。而LayerNorm（层归一化）则专注于单个样本内部的特征关系，进行纵向归一化，具有样本独立性和训练推理一致性优势。对于Transformer这类处理序列数据的模型，LayerN
Tessy学习系列（三）：单元测试——官方例程isValueInRange
注意：工程名称以及路劲不能包含空格和中文
从零搭建Transformer编码器：PyTorch实战与工程化指南
注意力机制是Transformer架构的核心组件，它通过计算序列元素间的相关性权重，解决了长距离依赖建模问题。其原理基于查询、键、值的点积运算与缩放，实现了信息的动态聚合。这一机制的技术价值在于突破了传统循环神经网络的序列处理瓶颈，为并行计算提供了可能，极大地提升了模型训练效率。在自然语言处理、计算机视觉等应用场景中，注意力机制已成为构建强大序列模型的基石。然而，构建一个完整的Transformer模型远不止实现注意力，还需整合位置编码、前馈网络、层归一化与残差连接等关键部件。本文以PyTorch为工具，详
STM32开发 -- LIS3DH三轴加速度计开发详解
这次要讲一下LIS3DH三轴加速度计的开发使用，之前是有讲过 MPU6050开发 的，但当时是在Linux下做的。额，还是个半成品，哈哈。现在手边有STM32的开发板，可以实实在在的来实现以下卡尔曼滤波了。 一、LIS3DH初识 依照惯例，先看一下手册，大致先了解一下，LIS3DH是什么模块。 下载：LIS3DH datasheet 1、描述 LIS3DH是一款超低功耗高性能三轴线性加速度计，属于...
论文阅读：Query-Dependent Video Representation for Moment Retrieval and Highlight Detection
近年来，随着视频理解需求的急剧增加，视频时刻检索和高亮检测(MR/HD)成为人们关注的焦点。MR/HD的主要目标是对给定的文本进行视频时刻定位和内容一致性估计，即显著性得分。尽管最近基于transformer的模型带来了一些进步，但我们发现这些方法并不能完全利用给定查询的信息。例如，在预测时刻及其显著性时，有时会忽略文本查询与视频内容之间的相关性。为了解决这个问题，我们引入了基于查询的DETR (QD-DETR)，这是一种为MR/HD量身定制的检测transfomer。
Transformer Block核心原理与PyTorch实现：从注意力机制到代码实战
注意力机制是深度学习中处理序列数据的关键技术，它通过计算序列元素间的相关性权重，实现信息的动态聚焦与融合。其核心原理基于查询-键-值（QKV）模型，通过点积运算和Softmax归一化生成注意力分数，从而允许模型并行捕获长程依赖关系。这一机制解决了传统RNN序列计算的瓶颈，技术价值在于极大地提升了模型训练效率和表征能力。在自然语言处理、机器翻译等应用场景中，注意力机制已成为Transformer架构的基石。本文聚焦于Transformer的核心单元Transformer Block，深入解析其内部的多头自注意
k8s 不同node之间pod ip不通
底层k8s使用calico网络，ipip网络模式，kubevirt启动了2台虚拟机；在这两台虚拟机上再搭建k8s，calico网络，ipip网络模式。说明：我是使用helm安装的calico，改这个模式要改crd资源ippools。其他方式安装的calico修改方法可能不一样。在虚拟机上的k8s上启动了2个pod，分布在不同的node上，这两个pod不能ping通对方的pod ip。修改虚拟机之上的k8s集群的calico网络的ipipMode为Never即可，之前使用的是Always。
Transformer 架构拆解：从数据流看每个组件的职责
本文以中英翻译为例，详细解析了Transformer模型的数据处理流程和架构设计。主要内容包括： 1）Encoder-Decoder的分工：Encoder将源语言编码为上下文向量，Decoder基于此逐步生成目标语言； 2）输入处理四步骤：分词、词表映射、词嵌入和位置编码，重点对比了不同分词方案和位置编码方法； 3）核心组件差异：Decoder比Encoder多出交叉注意力层，且使用因果掩码实现自回归生成。文章通过具体示例和对比表格，清晰地展现了Transformer从文本输入到输出的完整处理过程。
【JTAG】1149.6协议详解
JTAG1149.6协议是1149.1协议中Boundary-Scan结构的扩展，1149.1对交流耦合、差分或两者兼有的情况并没有得到充分的处理。该协议支持新的I/O测试结构。需要时变(AC)信号的高级I/O引脚允许测试它们之间的连接，这包括所有差分信号引脚或单端信号引脚，通过设计支持交流耦合。..................
PCL点云算法与项目实战案例汇总（长期更新）
本专栏将深入探讨PCL（点云库）的基础算法，旨在帮助读者掌握点云处理的核心技术。内容涵盖点云的采样、过滤、配准、分割等基础操作，并结合实际案例，展示这些算法在工程中的应用。无论你是初学者还是有一定经验的开发者，都能通过本专栏加深对PCL的理解，提升在三维数据处理领域的技能。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1679
扫一扫
