Embedding 在Airbnb房源排序中的应用 （KDD2018 best paper）

最新推荐文章于 2022-09-23 15:29:54 发布
转载 最新推荐文章于 2022-09-23 15:29:54 发布 · 357 阅读 · 0

该博客介绍了Embedding在Airbnb房源排序中的应用，此内容为KDD2018最佳论文。Embedding技术在房源排序领域发挥作用，有助于提升排序的准确性和合理性，为相关信息技术应用提供了参考。
深度学习中的Graph Embedding方法
进一步有进一步的欢喜~
10-26 241
深度学习中的Graph Embedding方法
推荐系统之Airbnb推荐：Real-time Personalizaton using Embeddings for Search Ranking at Airbnb
yujianmin1990的专栏
03-31 2039
前言 Airbnb在2018年KDD的best-paper，关于向量化如何在民宿订购平台里的实时推荐实践的，写得非常实在。 业务特点 Aribnb他们具有非常鲜明的业务特点，是短租市场，且是个双向市场，既要优化商家又要优化租客，用户有非常强烈的搜索目标倾向。 短期兴趣 从哪里学短期兴趣？ 用户的一连串搜索及点击浏览行为中[session]，蕴含着其最终目标booking[订购]，为了能够表达...
不一样的论文解读：2018 KDD best paper「Embeddings at Airbnb」
fly_time2012的专栏
12-29 652
出处：https://www.leiphone.com/news/201811/k90ZmGaOCRSftqqR.html Airbnb 的 Real-time Personalization using Embeddings for Search Ranking at Airbnb 一文拿了今年 KDD ADS Track 的最佳论文，和 16 年 Google 的 W&D 类似，并不...
重读KDD 2018 Best Paper：Airbnb的业务理解和Embedding技巧
贝壳er的博客
05-14 620
文章目录1.业务背景1.基于click session的房源embedding（短期兴趣）1.1 如何确定click session?1.2 房源embedding方法1.2.1 业务思考：原始的word2vec是非监督的，怎样融入提升“预订率”这一业务目标？1.2.2 业务思考：如何缓解正样本在地域上的bias？1.2.3 业务思考：如何解决new listing的冷启动问题？2.基于booked session的用户 & 房源embedding（长期兴趣）2.1 如何解决booked sessi
【异质网络、超图、因果学习】HyperSCI ——KDD 2022 Best Paper：Learning Causal Effects on Hypergraphs
CRW__DREAM的博客
09-23 1339
KDD‘2022 最佳论文：HyperSCI_基于超边的因果推断模型。该模型具体通过聚合混杂因子（利用MLP）和高阶干涉（利用注意力机制修正超边中的节点信息、利用多层图卷积网络进行迭代训练）的两部分节点向量表征进而得到ITE
精读2018 KDD rec best paper—embedding在Airbnb的应用实践
我的灯还亮着的博客
02-20 2585
Real-time Personalization using Embeddings for Search Ranking at Airbnb 前一段看了这篇文章，由于公司也在用w2v做相似商品推荐，很有感触，发现之前用的数据集简直不忍直视，在此总结了一下个人对这篇文章的看法，分享出来，有不足之处还请指教和讨论。 主要参考了两位大佬王喆和吴海波的知乎，少绕了很多弯路，深表感谢。 文章用的模型...
KDD 2018 | 中科大、苏州大学与微软的合作论文获最佳学生论文奖
AI科技大本营
08-21 2767
上周日，第24届 ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING（知识发现和数据挖掘会议，以下简...
【Embedding】Airbnb：实时个性化搜索排序
阿泽的学习笔记
05-20 733
今天学习的是一篇 2018 年的工业论文《Real-time Personalization using Embeddings for Search Ranking at Airbnb》，介绍的是 Word2Vec 在 Airbnb 推荐场景中的应用。大概内容就是从用户日志中抽取用户行为并组成序列，然后通过 Word2Vec 完成训练，最后得到 Item 的 Embedding Vector。虽然...
《Real-time Personalization using Embeddings for Search Ranking at Airbnb》论文总结
Ezail的博客
04-24 603
这次总结的文章是2018 kdd best paper，来自Airbnb的学长们。 由于从去年年底到现在一直在百度feed实习，也接触到了大量的推荐业务，其实生成embedding更是家常便饭，今天这篇文章更是把embedding思想发挥到了极致。 Airbnb作为全世界最大的短租网站，提供了一个连接房主（host）挂出的短租房（listing）和主要是以旅游为目的的租客（guest/user...
embedding
weixin_41814051的博客
02-19 1182
不是做NLP方向对这方面之前也并不了解，但本科学习过文本挖掘课程，在数据挖掘的时候偶尔会涉及到对本文特征的处理，只好趁着机会再学习总结下。 embedding 简单来说，embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个item(商品，或是一个电影等等)。这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，比如 Embedding(复仇者联盟)和...
2018 real-time Personalization using Embeddings for Search Ranking at Airbnb
12-20
2018KDD best paper airbnb 基于embedding的推荐实践
KDD‘20 Best Paper | 推荐系统中采样测试的误区
paper_reader的博客
10-28 891
阅读更多，欢迎关注公众号：论文收割机（paper_reader） 因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。 优快云上排版不好，可以直接点击链接阅读原文 Walid Krichene and Steffen Rendle. 2020. On Sampled Metrics for Item Recommendation. InProceedings of the 26th ACM SIGKDD International Conference on Know.
博客笔记四: [Airbnb] word embedding改编，list embedding表达相似性用于推荐系统
joshuajinxiaoshuai的博客
05-30 2594
原文标题：Listing Embeddings for Similar Listing Recommendations and Real-time Personalization in Search Ranking By Mihajlo Grbovic, Haibin Cheng, Qing Zhang, Lynn Yang, Phillippe Siclait and Matt Jones ...
Airbnb搜索：Embedding表示学习
Kaiyuan_sjtu的博客
06-01 685
导读本文将基于Airbnb KDD 2018年的论文，介绍Airbnb搜索中，如何学习item、user embedding，并应用到搜索推荐中。对工业界搜索推荐系统中如何更好地学习emb...
KDD 2018 Call for Research Papers
fat_sm的博客
11-28 2844
We invite submission of papersdescribing innovative research on all aspects of knowledge discovery and datamining, ranging from theoretical foundations to novel models and algorithms fordata mining problems in science, business, medicine, and engineering.
ICLR 2018 BEST PAPER
DeepMatter的博客
06-04 2033
这篇文章的题目如下： 论述了如何将元学习用于非静态环境下多agents的增强学习。与传统的多agents静态环境（atari）和单agent静态环境相比，该场景更复杂，同时也与实际应用情景相吻合！该问题的提出在review中被认为是通向AGI的重要的一步。设想这样的一个游戏场景：愤怒的小鸟—游戏中的重力随着时间动态的改变，从而该场景是一个典型的非静态环境，是之前的增强学习方法所不能handl...
从KDD 2018最佳论文看Airbnb实时搜索排序中的Embedding技巧
Paper weekly
01-23 2495
作者丨王喆单位丨Hulu高级机器学习工程师研究方向丨计算广告、推荐系统知乎专栏丨王喆的机器学习笔记今天我们聊一聊 KDD 2018 的 Best Paper，Airbnb...
SIGKDD历年Best Papers
我爱机器学习
08-30 1364
SIGKDD历年Best Papers
ICML 2017 Best Paper理解
dreamweaverccc的博客
07-13 2558
2017年ICML的最佳论文奖被来自于斯坦福大学的Pang Wei Koh和Percy Liang拿下，论文名是《Understanding Black-box Predictions via Influence Functions》，研究内容是关于神经网络的可解释性。...
embedding在文本聚类中的应用
最新发布
12-30
<think>首先，用户的问题是：“我想了解embedding在文本聚类中的应用”，意思是“I want to understand the application of embedding in text clustering.” 用户提供了几个站内引用作为参考： - 引用[1]：讨论了深度学习在文本聚类中的应用，捕捉语义信息。 - 引用[2]：展示了使用TF-IDF和KMeans进行文本聚类的例子。 - 引用[3]：涉及核函数在文本聚类中的应用案例。 - 引用[4]：提到了使用get_embedding函数（可能来自OpenAI的API）生成嵌入向量，并警告设置错误。 系统级指令： - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 用户上一次的问题可能是关于embedding在文本聚类中的应用，但从历史看，这是当前问题。 关键点： - 我需要专注于embedding在文本聚类中的应用。 - 参考引用中，[4]直接提到了embedding（使用text-embedding-ada-002）。 - 其他引用涉及文本聚类，但没有直接讨论embedding；[1]提到深度学习，可能包括嵌入；[2]使用TF-IDF；[3]讨论核函数。 - 我应该基于此构建一个结构化的回答。 结构化回答： - 逐步解释embedding是什么。 - 描述embedding在文本聚类中的应用。 - 可能包括一个简单的例子或步骤。 - 引用相关部分。 - 最后生成相关问题。 定义embedding： - 在NLP中，embedding是将文本（如单词、句子）映射到高维向量空间的技术，这些向量捕捉语义信息（如Word2Vec、GloVe、BERT嵌入）。 - 在文本聚类中，embedding用于将文本转化为向量，然后应用聚类算法如KMeans。 应用步骤： 1. 文本预处理：清理文本数据。 2. 生成嵌入向量：使用预训练模型（如OpenAI的text-embedding-ada-002）或自定义模型。 3. 聚类：应用聚类算法（如KMeans、DBSCAN）在嵌入空间中进行聚类。 4. 分析结果：评估聚类质量，如使用轮廓系数。 来自引用的洞察： - 引用[4]：展示了使用get_embedding函数生成嵌入向量，并警告SettingWithCopyWarning，这在pandas中是常见问题，建议使用.loc避免。 - 引用[1]：提到深度学习捕捉复杂语义信息，支持embedding的用途。 - 引用[2]：TF-IDF是传统方法，embedding是更先进的替代。 - 引用[3]：核函数可能用于非线性聚类，但embedding通常直接提供向量表示。 确保真实可靠： - 基于常见知识：embedding如Word2Vec、BERT在文本聚类中广泛使用，因为它们能处理语义相似性。 - 在回答中，可以提到向量空间模型，如使用点积或余弦相似度。 数学表达式： - 例如，在描述相似度时：两个向量的余弦相似度为$\cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|}$。 - 如果提到公式，使用正确LaTeX格式。 生成相关问题： - 在结尾添加§§相关问题§§，列出3-5个相关问题。 回答结构： 1. 介绍embedding和文本聚类。 2. 解释embedding如何应用于文本聚类。 3. 可能包括一个代码示例（如Python），参考引用[4]。 4. 讨论优势和挑战。 5. 总结。 6. 生成相关问题。 代码示例： - 类似引用[4]，但简化。例如，使用OpenAI嵌入和KMeans。 - 确保使用代码块。 引用标识： - 当提到参考内容时，自然地添加[^n]，例如：“在文本聚类中，embedding可以捕捉语义信息[^1]。” 最终输出： - 用中文。 - 结构清晰。 </think> ### Embedding在文本聚类中的应用 在文本聚类中，embedding（嵌入）是一种将文本数据（如单词、句子或文档）转化为高维向量表示的技术。这些向量捕捉文本的语义信息（如相似性、主题相关性），使聚类算法能更有效地处理大规模文本数据。相比于传统方法（如TF-IDF），embedding能更好地处理语义复杂性，尤其在深度学习模型中表现突出。下面，我将逐步解释embedding在文本聚类中的应用，帮助您全面理解这一过程。 #### 1. **Embedding的基本概念** - **定义**：Embedding 是将离散文本映射到连续向量空间的过程，其中相似的文本在向量空间中位置接近。例如，单词 "king" 和 "queen" 的向量在高维空间中的距离较小，而 "king" 和 "apple" 的距离较大。常见的嵌入模型包括 Word2Vec、GloVe、BERT 和 OpenAI 的 text-embedding 系列（如 text-embedding-ada-002）[^4]。 - **数学表示**：对于一个文本 $t$，其嵌入向量 $\mathbf{v} \in \mathbb{R}^d$（$d$ 为向量维度），相似度通常用余弦相似度计算： $$ \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|} $$ 其中 $\mathbf{a}$ 和 $\mathbf{b}$ 是两个文本的嵌入向量[^1]。 #### 2. **Embedding在文本聚类中的核心应用步骤** Embedding 使文本聚类更高效，因为它直接处理语义层次的信息。以下是典型应用流程： 1. **文本预处理**： - 清理文本数据：移除停用词、标点，并进行词干化或词形还原。 - 示例：将原始文本转换为标准化格式，如小写字母。 2. **生成嵌入向量**： - 使用预训练嵌入模型将文本转化为向量。例如，OpenAI 的 text-embedding-ada-002 模型能快速生成低维向量（维度通常为 512 或 1024），比传统方法更高效。 - **优势**：嵌入向量能捕捉上下文语义，例如在新闻主题分类中，相似主题的文档向量在高维空间中聚集[^2]。 3. **应用聚类算法**： - 在嵌入向量空间上运行聚类算法，如 KMeans、DBSCAN 或层次聚类。KMeans 是最常用方法，其目标是最小化簇内距离： $$ \min \sum_{i=1}^{k} \sum_{\mathbf{x} \in C_i} \|\mathbf{x} - \mu_i\|^2 $$ 其中 $k$ 是簇数，$\mu_i$ 是簇中心[^2]。 - **案例**：在医疗文献聚类中，嵌入向量帮助识别主题一致的簇，例如通过核函数（如 RBF）处理非线性关系，提升聚类精度[^3]。 4. **聚类评估与优化**： - 使用指标如轮廓系数（silhouette score）评估聚类质量：值接近 1 表示簇内紧凑、簇间分离良好。 - 优化方法：调整嵌入模型参数（如维度）或聚类超参数（如簇数），以处理噪声数据或类别不平衡。 #### 3. **实际应用示例（Python 代码）** 以下是一个简单示例，使用 OpenAI 的嵌入模型和 KMeans 进行文本聚类。参考引用[4]，我们使用 text-embedding-ada-002 生成嵌入向量，并避免 pandas 的警告。 ```python import pandas as pd from sklearn.cluster import KMeans from openai import OpenAI # 假设已安装openai库 # 初始化OpenAI客户端 client = OpenAI(api_key='your_api_key') # 定义嵌入生成函数（参考引用[4]） def get_embedding(text, engine="text-embedding-ada-002"): response = client.embeddings.create(input=[text], model=engine) return response.data[0].embedding # 示例数据：假设cdf是DataFrame，包含文本列 cdf = pd.DataFrame({"text": ["深度学习用于文本聚类", "医疗文献主题分析", "新闻分类应用"]}) # 生成嵌入向量，避免SettingWithCopyWarning（使用.loc） cdf.loc[:, "embedding"] = cdf["text"].apply(lambda x: get_embedding(x, engine="text-embedding-ada-002")) # 将嵌入向量转换为数组 embeddings = np.array(cdf["embedding"].tolist()) # 应用KMeans聚类（k=2） kmeans = KMeans(n_clusters=2, random_state=42) clusters = kmeans.fit_predict(embeddings) # 打印聚类结果 for i in range(2): print(f"簇 {i} 的文本:") print(cdf[clusters == i]["text"].values) ``` **输出解释**： - 代码使用 text-embedding-ada-002 生成低维嵌入向量，速度快且内存效率高。 - 聚类结果将相似主题文档分组，例如一个簇包含“医疗”相关文本，另一个包含“新闻”相关文本[^2]。 #### 4. **优势与挑战** - **优势**： - **语义捕捉**：嵌入能处理同义词和多义词，提升聚类准确性，适用于新闻主题分类或社交媒體分析[^1]。 - **高效性**：低维向量（如 ada-002）减少计算开销，适合大规模数据。 - **灵活性**：可与核函数结合，处理非线性聚类问题。 - **挑战**： - 数据依赖：嵌入模型需大量训练数据，否则可能过拟合。 - 参数调优：嵌入维度和聚类算法参数需实验优化，以避免次优结果。 #### 5. **总结** Embedding 在文本聚类中通过将文本转化为语义向量，实现了更智能的主题识别和文档分组。它尤其在深度学习驱动的应用中表现出色，如新闻分类和医疗文献分析[^1]。实际使用时，推荐结合预训练模型（如 OpenAI 嵌入）和简单聚类算法，以平衡效率与准确性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值