墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
2.1k累计阅读
2.1k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
设Word2Vec等词向量训练模型的输入词向量为U，输出词向量为V，通常模型训练完成后，只是用U作为预训练词向量给其他上游模型使用，V通常忽略，本文探讨了U和V使用的效果，已经联合使用U和V的想过，得出以下结论：
1、在Word2Vec Skipgram模型中，输出词向量与输入词向量的效果相比稍差。
2、在基于RNN的语言模型中，输入词向量比输入词向量想过更好。
3、通过将这两种嵌入结合在一起，即强制U = V，联合嵌入的效果更类似于输出嵌入，而不是未绑定模型的输入嵌入。
4、将输入和输出嵌入绑在一起，可以改进各种语言模型的困惑度。
5、当不使用dropout时，建议在V之前添加一个额外的投影P，并对P应用正则化。
6、神经翻译模型中的权值绑定可以在不影响性能的前提下将它们的大小(参数数量)减少到原来大小的一半以下。
十二、Transformer
Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。
Using the Output Embedding to Improve Language Models 阅读记录
论文主要提出了一个weight tying概念 作者在introduction中提出 模型输入有个input embedding U 输出有个output embedding V 两个举证维度same size 而且两者都可以作为word embedding 然后作者compare the quality of the input embedding to that of the output embedding 然后提出了下面几个方式可以用来improve neural network lang...
大模型安全-生成检测-事实核查-攻击-防御-思考-记忆-融合-语音相关研究 2025年版
本文整理了关于大模型安全领域的综合性资源，包括7篇综述论文、9个安全数据集以及5篇强化学习相关的安全研究论文。主要涉及大模型的对抗攻击、隐私保护、安全评估等方向，涵盖TruthfulQA、ToxiGen等知名数据集和TrustLLM、HarmBench等关键研究。资源包括知乎博主分享、arXiv预印本和顶会论文，并附有详细的中文讲解链接，为研究者提供了系统性的安全研究参考。
机器翻译模型简介（三）
本系列将记录一些最近的机器翻译模型，作为笔记，以备日后查看。 3、Attention Is All You Need 本文提出一个新的网络结构transfomer，不采用卷积与循环神经网络，仅仅依赖于注意力机制。对于循环神经网络由于其序列输入特性，导致难以并行。而卷积网络可以捕获任意位置的信息，导致随着距离的增大，也越难学习长距离的依赖关系。本文提出一种自注意机制的端到端网络。结构...
大模型安全研究论文整理 2026年版
知乎博主小红书博主GitHub数据集参考： 大模型越狱指令 (harmful questions) 数据集整理会思考的大模型更不听话，我的豆包失控了…让QwQ思考模型-不思考的小技巧qwen3的致命幻觉！大模型微调所有大模型都在讨好人类不要思考过程，推理模型能力能够更强丨UC伯克利等最新研究o3/o4-mini幻觉暴增2-3倍！OpenAI官方承认暂无法解释原因UC伯克利：让推理模型少思考，准确率反而更高了！一句话让DeepSeek思考停不下来，北大团队：这是针对AI的DDoS攻击慢思考准确率反降30%！普
Transformer 的 Output Embedding
Transformer 的 Output Embedding
深度学习中Keras中的Embedding层的理解与使用
单词嵌入提供了单词的密集表示及其相对含义，它们是对简单包模型表示中使用的稀疏表示的改进，可以从文本数据中学习字嵌入，并在项目之间重复使用。它们也可以作为拟合文本数据的神经网络的一部分来学习。 Word Embedding 单词嵌入是使用密集的矢量表示来表示单词和文档的一类方法。 词嵌入是对传统的词袋模型编码方案的改进，传统方法使用大而稀疏的矢量来表示每个单词或者在矢量内对每个单词进行评分以表...
Outputs (shifted right)是什么；Input，Input Embedding，Output ，Output Embedding举例说明
在实际的数据流转过程中，Input 和 Output 是模型的输入和输出数据，而 Input Embedding 和（可能的）Output Embedding 是将这些数据转换为模型可以理解和处理的数值形式的过程。在自然语言处理中，这通常涉及将文本转换为嵌入向量并进行相应的处理。
Transformer:继MLP、RNN、CNN之后的第四大基础模型
本篇博客讲述的是近几年来在深度学习领域中又一项重大的突破：Transformer。Transformer被誉为是继MLP、RNN、CNN之后的第四大基础模型。接下来我们将以模型架构为核心，跟着输入数据的脚步，一步步解析Transformer是如何构建和学习。.......
2022-8-3----Android10.0(MTK)-----SN_Writer 写入 SN 注意事项
SN_Writer、写入SN
实现高精度卷积混响--MATLAB仿真篇
一、前言 之前在STM32F407上现实了直播声卡，实现的经典Schroeder混响模型和Moorer混响模型，得到不错效果。后来得知卷积混响最为真实地表现空间的特性，所以也就尝试在MCU上实现一个高精度的卷积混响(卷积点数为32768)，目前MCU出来的混响效果算得上一流水准，本人也在计划在ADI的21489或者SC584上更高精度的卷积混响。 二、卷积方式 1、conv1是使用MATLAB自带卷积函数conv 2、conv2和conv3是改进后卷积过程，具有减少运算量特点，方便嵌入式移植 clear;
Transformer五部曲
Transformer：没错，你只需要注意力机制 首先先说说自己对 Transformer 理解，我认为它最大的改进有如下几点： 提出用注意力机制来直接学习源语言内部关系和目标语言内部关系，而不是像之前用 RNN 来学； 对存在多种不同关系的假设，而提出多头 (Multi-head) 注意力机制，有点类似于 CNN 中多通道的概念； 对词语的位置，用了不同频率的 sin 和 cos 函...
CocosCreator 面试题（十七）Cocos creator 固定宽度与固定高度的底层原理是什么？Cocos creator是如何做适配的?
通过固定宽度或固定高度的适配方式，可以使游戏在不同屏幕尺寸上保持一定的一致性，确保游戏中的元素的大小和位置相对稳定。具体选择哪种适配方式取决于你的游戏需求和设计考虑。在 Cocos Creator 中，你可以通过设置「设计分辨率」和使用相对坐标和布局方式来实现固定宽度或固定高度的适配。总之，Cocos Creator 提供了多种适配方式和工具，帮助你在不同屏幕尺寸上保持游戏画面的一致性。在 Cocos Creator 中，固定宽度和固定高度是两种常见的适配方式，用于在不同屏幕尺寸上保持游戏画面的一致性。
深度学习在 NLP 上的实践
自然语言处理的一些新技术的应用
django drf 框架知识点（一）——serializer序列化器_用法全解
【django drf】序列化器：别名设置，全部参数序列化，自定义字段，只读只写，部分更新
1020空心杯电机驱动设计与ESP32实战
空心杯电机是一种高动态响应的直流微特电机，其驱动本质是解决电感负载下的大di/dt启动、反电动势耦合与电流纹波抑制问题。核心原理在于建立包含内阻、电感和反电动势的等效电路模型，并据此匹配开关器件、PWM参数与采样闭环。技术价值体现在小体积下实现毫秒级响应、低噪声（>30kHz）、高精度电流保护（±50mA）及热鲁棒性。典型应用于微型航模、手持云台与精密执行器等对功率密度和动态性能敏感的嵌入式系统。本文以1020规格空心杯电机为对象，基于ESP32平台完成从MOSFET选型、32kHz硬件PWM生成到INA2
NLP最新资源：论文、代码、博客、视频一应俱全
整理 | Rachel出品 | AI 科技大本营（ID：rgznai100）【导读】在近几年，NLP 领域得到了快速的发展，包括 ELMo ，BERT在内的新方法不断涌现...
AI系统架构原理与代码实战案例讲解
人工智能的概念可以追溯到上世纪50年代，图灵测试的提出标志着人工智能作为一门学科的诞生。早期的研究主要集中在符号推理、专家系统等领域，取得了一些突破，例如机器定理证明、西洋跳棋程序等。上世纪80年代，随着专家系统的兴起，人工智能进入了一个黄金时期。专家系统通过模拟人类专家的知识和经验进行推理和决策，在医疗诊断、故障诊断等领域取得了成功应用。进入90年代，由于计算能力的限制和数据量的不足，人工智能的发展陷入低谷。近年来，随着深度学习技术的突破、大数据的兴起以及计算能力的提升，人工智能迎来了第三次发展浪潮，在图
如何用深度学习做自然语言处理？这里有份最佳实践清单
如何用深度学习做自然语言处理？这里有份最佳实践清单 By 机器之心2017年7月26日 14:16 对于如何使用深度学习进行自然语言处理，本文作者 Sebastian Ruder 给出了一份详细的最佳实践清单，不仅包括与大多数 NLP 任务相关的最佳实践，还有最常见任务的最佳实践，尤其是分类、序列标注、自然语言生成和神经机器翻译。作者对最佳实践的选择很严格，只有被证明在至少两个
「自然语言驱动生产力」23. 科研神器：DeepSeek+EndNote实现文献智能综述
摘要：传统文献综述面临周期长、漏检率高、数据整合繁琐等痛点，某985课题组数据显示，4人团队完成一篇综述平均需5个月，重要成果遗漏率达25%。本文提出基于DeepSeek+EndNote的智能综述方案，通过“自然语言解析→精准检索→智能筛选→自动生成”四步流程实现全自动化。核心技术包括检索式智能生成算法、文献优先级评分模型、可视化图表自动生成工具及结构化综述框架引擎。实际应用中，文献调研周期从3-6个月缩短至2周，重要成果遗漏率降至3%以下，图表制作时间完全解放。某课题组采用该方案后，1人3周完成的综述被A
（8）(8.19) GPIOs
Ardupilot官网关于《Copter》的翻译 —《(8.19) GPIOs》。
（6）一文懂Transformer
Transformer抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ，著名的OpenAI GPT和BERT模型都是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向，目前也逐步应用在视觉领域。
win10 跳过U8环境检测的IE WebControls.rar
win10 安装u8的时候 提示IE WebControls 不通过，这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后，重新检测通过。
transformer算法详解
一、背景 NLP作为AI的子领域，一直以来被认为比较难的学科。特征抽取一直以来都作为NLP的核心任务。概况来说在深度学习为基础的体系中，特征抽取经历了以下几个阶段：DNN->CNN->RNN->Transformer。自从2017年6月份《Attention is all you need》论文作为机器翻译算法提出后，transform已经逐步替代了以CNN和RNN为首的特征抽取，特别是2018年bert一战成名后，目前所有的主流方法几乎都是transformer系的变体。 二、架构
Outlook Express 6 (OE6) for Win7/Win8/Win10
英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。
STM32F407中文手册
STM32f407中文手册 本参考手册面向应用开发人员，提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列，各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性，请参见数据手册。有关 ARM Cortex™-M4F 内核的信息，请参见《Cortex™-M4F 技术参考手册》。
R-MAC（Regional Maximum Activation of Convolutions）
R-MAC (regionalmaximum Activation of Convolutions)被表示为图像中局部特征的累加器，作为一种判别全局图像表示。R-MAC的概述如下。在卷积特征图中，我们以滑动窗口的方式对正方形区域进行采样，在所有的s = 1，…，s中，相邻窗口之间有40%的重叠。采样区域大小可以计算为:Rs = 2min(W,H)/(s+1)，其中W和H分别为特征图的宽度和高度。R-MAC对区域特征图进行采样后，对所有区域特征图进行最大池化处理，并进行标准化处理，如l2归一化和pca -白化
最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版
Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。
MultiGrain: a unified image embedding for classes and instances
MultiGrain: a unified image embedding for classes and instances 摘要 文中主要介绍一种叫做multiGrain的方法，这种方法可以同时对图片进行分类和检测。数据的标签只依赖于类别标签，训练也是相对简单，最小化交叉熵Loss以及ranking Loss，用来判定两张图片是否可区分的。这个模型是根据普通的分类模型构建的，它...
Transformer
rnn的输入有先后，transfomer的输入是一起处理的，这样做增快了速度，但是忽略单词的先后关系，所有transfomer要位置编码。6个encoder结构是完全相同的（但参数上不同），6个decoder结构是完全相同的（但参数上不同）。rnn梯度消失：rnn的梯度是梯度和，梯度消失不是变为0而是总梯度被近距离梯度阻挡，远距离梯度忽略不计。query是汤姆，key1是Tom，key2是Chase，K3是Jerry。因为在预测阶段是没有后面的信息的，所以需要mask。pos我，k爱，pos+k你。....
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
2229
扫一扫
