DSSM模型资料

最新推荐文章于 2025-09-21 23:51:24 发布
原创 最新推荐文章于 2025-09-21 23:51:24 发布 · 414 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DSSM #文本相似度

本文主要介绍了DSSM(深度语义匹配模型)的基本概念及其变体，包括NLP领域的DSSM双塔模型类综述，以及一种新的优化模型LSF-SCNN，该模型基于CNN进行短文本表达和相似度计算。
TransFormerDSSM:该模型在DSSM模型的基础上，将模型的表示层使用基于Transformer的Encoder部分来实现。
03-24
该模型在DSSM模型的基础上，将模型的表示层使用基于Transformer的编码器部分来实现，匹配层将通过表示层得到问题查询和答案的特征表示进行余弦相似度计算，由于问题i除了与答案i相匹配以外，其余答案导致问题i的负...
【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）
发现问题，并解决问题，批判性思维
06-22 3200
召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。 对应的三种训练方式可以参考下图（3种），其召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。在datawhale的RecHub中，用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。.................................
DSSM 模型技术介绍
xiao4816的博客
04-22 1957
本文属于新闻推荐实战-召回阶段-DSSM召回模型。区别于策略召回，基于向量召回也是目前工业界常用的一种召回方法。这里我们将介绍一个比较经典的召回模型DSSM，希望读者可以快速掌握模型原理以及细节，同时可以了解具体的实践过程。
广告行业中那些趣事系列10：推荐系统中不得不说的DSSM双塔模型
abc50319的专栏
05-11 3555
本篇一共4189个字 最新最全的文章请关注我的微信公众号：数据拾光者。 摘要：本篇主要介绍了项目中用于商业兴趣建模的DSSM双塔模型。作为推荐领域中大火的双塔模型，因为效果...
Datawhale学习笔记——深度语义匹配模型DSSM详解、实战与FAQ
最新发布
sunshine_swai的博客
09-21 951
使用TensorFlow或PyTorch定义模型结构。# TensorFlow 伪代码user_embedding = Dense(emb_dim, activation=None)(u_emb) # 最终用户向量item_embedding = Dense(emb_dim, activation=None)(i_emb) # 最终物品向量# 计算余弦相似度output = tf.sigmoid(cosine_sim) # 将相似度映射为0-1的概率。
深度学习模型——DSSM（Deep Structured Semantic Model）详解
goTsHgo的博客
12-05 1941
通过以上逐步详解，我们可以清晰理解 DSSM 的原理和实现过程，从基础到代码实现均具有完整的逻辑链条。将查询和文档分别映射到一个共同的语义空间，在这个空间中，语义相似的查询和文档具有较高的向量相似度（如余弦相似度）。DSSM（深度结构化语义模型）是一种深度学习模型，旨在学习查询和文档（或任意两个实体）之间的。传统的基于关键词匹配的方法（如 TF-IDF、BM25）难以捕捉查询和文档之间的语义关系。以下是一个完整的 DSSM 实现，用于匹配查询和文档。用查询-文档对的数据训练 DSSM 模型。
【深度学习】DSSM模型介绍（1）
littlemichelle
11-15 1万+
DSSM (Deep Structured Semantic Models) 应用： DSSM文本匹配模型在商品语义召回上的应用 参考： DSSM文本匹配模型在苏宁商品语义召回上的应用 蚂蚁金融NLP竞赛——文本语义相似度赛题总结
DSSM模型
gg13213的博客
09-25 821
DSSM模型文本匹配DSSM模型词哈希技术 文本匹配 文本匹配是NLP中的一个核心问题，例如信息检索可以归结成查询项和文档的匹配；智能问答可以归结为问题和候选答案的匹配；对话系统可以归结为对话和回复的匹配。 文本匹配任务发展历程：单语义模型–>多语义模型–>匹配矩阵模型–>深层句间交互模型。 DSSM模型 DSSM将query和doc映射到同一个低维向量空间，在这个空间内，query和doc的相似度可以由这两个向量的空间距离计算得出。（向量间的距离表示匹配程度） 模型优化策略：给定输入时，
【经典论文阅读9】DSSM模型——开搜推算法先河：用点击数据训练深层模型
说文科技，做有态度的研究。
05-05 1436
这篇发表于2013年CIKM上的搜索领域文章。核心思想就是两点：提出使用 clickthrough data 来训练deep structured semantic 模型。反复读后再回顾这篇文章，惊叹作者写作真好！结构相当清晰，逻辑非常流畅。标题里面的『 Deep Structure』对应在Introduction中的Hinton的研究路子；『using Clickthrough Data』则对应LSA模型的另外一条路子。现在来看这些思想已成规矩，在当年却是开创先河的存在！
论文｜从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考
Thinkgamer博客
08-12 1920
基于深度学习的召回近些年已经得到了长足的发展，其中双塔模型更是作为经典的深度学习召回模型被各大公司应用，回顾双塔模型的发展可以追溯到2003年微软发布的DSSM模型，本篇文章将会从DSSM开始介绍几篇论文，看一下DSSM模型是怎么发展成为双塔模型并应用在推荐系统中做召回的。 DSSM DSSM模型是2013年微软发布的，其论文全称为：Learning Deep Structured Semantic Models for Web Search using Clickthrough Dara（https://
【Semantic Embedding】: DSSM模型
快来学习鸭～～～
04-15 2099
论文下载地址 代码实现 DSSM现在应该已经算是经典的文章了，有些年头了。网上已经有很多优秀的博客对该算法进行分析，建议去看那些文章，讲的比较全面。 DSSM的思想是利用搜索点击数据，分别将query和documents利用DNN映射到高纬语义空间，然后将query和document的高纬语义向量利用余弦相似度，对向量进行相似度计算。 训练阶段，对于点击数据，如果在当前query下，被点击...
DSSM - 双塔经典模型（微软）
weixin_43646592的博客
05-18 948
DSSM - 双塔经典模型（微软）
推荐系统（十七）双塔模型：微软DSSM模型（Deep Structured Semantic Models）
热门推荐
天泽28的专栏
04-03 1万+
DSSM全称Deep Structured Semantic Models，是伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软于2013年发表在CIKM上的，盲猜是一作在微软实习时的工作，所以基本上是微软的成果。DSSM在业界搜广推的影响力目前来说是超过前面介绍的任何一个模型，基本上统治了召回/粗排阶段。值得一提的是我厂（百度）同样在2013年（那个年头的百度还处在如日中天的状态）搞了个双塔模型simnet，不过并没有发表相应的论文，具体可以参见：[百度NLP | 神经网络语义匹配技术]
CTR预估模型DSSM
rosefun96的博客
09-07 9305
1. 简介 CTR预估模型主要用于搜索，推荐，计算广告等领域，传统CTR模型包括逻辑回归LR模型，因子分解机FM模型，梯度提升树GBDT模型等。 优点是可解释性强，训练和部署方便，便于在线学习。 在搜索广告的场景中，query 和document使用不同的单词，同一个单词不同形态来表达同一个概念，需要通过文本的单词匹配来计算query和document的相似性。 2. DSSM 模型 思想： 将query 和document降维到公共的低维空间， 在低维空间，query 和document的相似性通过两者的
语义相似度匹配（一）—— DSSM模型
11-25 3763
一、简介 论文：Learning Deep Structured Semantic Models for Web Search using Clickthrough Data 微软13年提出的计算文本相似度的深度学习模型，核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。 网络框架如下： 二、 原理 对输入文本的
DSSM论文阅读与总结
taoqick的专栏
11-30 1628
论文的地址：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf 1.背景 DSSM是Deep Structured Semantic Model的缩写，即我们通常说的基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，...
一文看懂推荐系统：经典双塔模型：微软DSSM模型（Deep Structured Semantic Models），无特征交互，后来美团改进了
weixin_46838716的博客
08-28 3942
经典双塔模型：微软DSSM模型（Deep Structured Semantic Models），无特征交互，后来美团改进了
【推荐算法】DSSM双塔模型：Deep Structured Semantic Models for Web Search using Clickthrough Data
长相忆兮长相忆的专栏
06-17 6641
DSSM，全称Deep Structured Semantic Model，就是我们通常所说的双塔模型，是微软公司提出的一种基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。 DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。
dssm双塔模型
03-13
### DSSM双塔模型架构与实现 #### 架构概述 DSSM（Deep Structured Semantic Model）是一种经典的双塔模型，最初由微软提出并应用于搜索引擎领域[^2]。该模型的核心思想是通过神经网络学习查询（query）和文档（document）之间的语义相似度。具体来说，DSSM将输入的文本转换为低维向量表示，并计算它们之间的余弦相似度作为匹配分数。 #### 模型结构 DSSM的主要组成部分包括以下几个层次： 1. **Embedding 层** 输入通常是稀疏的词袋（Bag-of-Words, BoW）或字符 n-gram 特征。这些特征会被映射到密集的嵌入空间中[^3]。例如，对于单词序列 `w_1, w_2, ..., w_n`，可以将其转化为一组 one-hot 向量，再通过嵌入矩阵得到连续向量表示。 2. **隐藏层** 嵌入后的向量会经过多层全连接神经网络（Fully Connected Layers），逐步提取高层次的语义特征[^1]。每一层都会引入非线性激活函数（如 ReLU 或 tanh），从而捕捉复杂的模式关系。 3. **规范化处理** 在最终输出之前，通常会对隐含层的结果应用 L2 归一化操作，确保生成的向量长度一致，便于后续计算余弦距离[^4]。 4. **相似度计算** 查询和文档分别通过各自的塔传递后获得两个固定维度的向量 \( \vec{q} \) 和 \( \vec{d} \)，接着利用如下公式衡量两者间的接近程度： \[ sim(q,d)=\frac{\vec{q}\cdot\vec{d}}{\|\vec{q}\|_{L2}\times\|\vec{d}\|_{L2}} \] #### 训练策略 针对排序任务，常采用 pairwise 方法构建训练样本集[^5]。即选取每一对包含正反馈 (clicked document) 和负反馈 (unclicked document) 的实例构成对比对子。损失函数可以选择基于 margin 的 hinge loss 或者 logistic regression 类型的形式表达如下： \[ loss=\sum_i max(0,m-sim(q,p)+sim(q,n)) \] 其中 m 表示预设的安全边界参数；p/n 分别代表正面/负面样例。 以下是 Python 实现的一个简化版本代码片段展示如何搭建这样的框架: ```python import tensorflow as tf from tensorflow.keras import layers def create_tower(input_dim, embedding_dim=128): input_layer = layers.Input(shape=(input_dim,)) embedded = layers.Embedding(input_dim=input_dim+1, output_dim=embedding_dim)(input_layer) flatten = layers.Flatten()(embedded) dense1 = layers.Dense(256, activation='relu')(flatten) dropout1 = layers.Dropout(0.5)(dense1) dense2 = layers.Dense(128, activation='tanh')(dropout1) norm = tf.math.l2_normalize(dense2, axis=-1) model = tf.keras.Model(inputs=[input_layer], outputs=[norm]) return model # Define Query Tower and Document Tower with same structure but different weights. query_input_size = vocab_size_for_queries # Replace this value accordingly. doc_input_size = vocab_size_for_documents # And replace this. query_model = create_tower(query_input_size) doc_model = create_tower(doc_input_size) # Combine both towers into a single model for training purposes. positive_doc_output = doc_model([pos_doc_inputs]) # Assume pos_doc_inputs defined elsewhere. negative_doc_output = doc_model([neg_doc_inputs]) cosine_sim_pos = tf.reduce_sum(tf.multiply(query_model.output, positive_doc_output), axis=-1) cosine_sim_neg = tf.reduce_sum(tf.multiply(query_model.output, negative_doc_output), axis=-1) margin_loss = tf.maximum(cosine_sim_neg - cosine_sim_pos + MARGIN_CONSTANT, 0.) total_loss = tf.reduce_mean(margin_loss) train_step = tf.optimizers.Adam().minimize(total_loss, var_list=query_model.trainable_variables + doc_model.trainable_variables) ``` 上述脚本定义了一个基础版的双通道网络及其相应的优化流程。实际部署时可能还需要考虑更多细节调整以及超参寻优等问题。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值