Seq2Seq+前缀树：检索任务新范式（以KgCLUE为例）

最新推荐文章于 2025-12-04 22:05:42 发布
转载 最新推荐文章于 2025-12-04 22:05:42 发布 · 165 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://kexue.fm/archives/8802
文章标签：

#机器学习 #深度学习 #人工智能

我们可以利用前缀树约束解码过程，保证生成的结果在数据库中，这就抛弃了传统靠Faiss等工具做召回这一步，以下转载自：https://kexue.fm/archives/8802
在这里插入图片描述

taoqick
关注
云数据库索引设计：提升查询性能的黄金法则
AI天才研究院
07-03 1008
本文系统解析云数据库索引设计的核心逻辑，覆盖从理论原理到工程实践的全生命周期。通过第一性原理推导揭示索引优化的本质规律，结合云原生特性（弹性扩展、多租户、分布式架构）分析传统索引结构的演进与创新。内容包含多层次知识体系：面向专家的理论模型与分布式挑战、面向中级开发者的架构设计与实现技巧、面向入门者的类比教学与案例解析。最终提炼12条黄金法则，为云数据库索引设计提供可落地的技术指南。索引的本质是用存储与写入性能换取查询性能查询性能。
seq2seq+前缀树约束生成
weixin_36378508的博客
10-12 336
检索，生成
Seq2Seq详解
David's Notes
10-14 2408
文章目录10. Seq2Seq10.1 Baseline Seq2Seq 架构10.1.1 技术架构10.1.1.1 第一步：Tokenization & Build Dictionary10.1.1.2 第二步：Word Emebedding10.1.1.3 第三步：Training Seq2Seq Model10.1.1.4 第四步：Inference Using the Seq2Seq Model10.1.2 模型优缺点10.1.3 优化10.1.3.1 Encoder 变成 双向10.1.3
Seq2Seq 模型详解
热门推荐
Angus的学习笔记
04-20 2万+
在NLP任务中，我们通常会遇到不定长的语言序列，比如机器翻译任务中，输入可能是一段不定长的英文文本，输出可能是不定长的中文或者法语序列。当遇到输入和输出都是不定长的序列时，可以使用编码器-解码器（encoder-decoder）模型或者seq2seq模型。其基本思想是编码器用来分析输入序列，解码器用来生成输出序列。 首先，来简单介绍下RNN（循环神经网络）结构： 1. RNN 结构 RNN结构 RNN中，每个单元接受两个输入，一个是当前时间步输入的信息 XtX_tXt​，另一个是上一个单元的隐藏层状态 H
“统一语言学习范式”：详解50个任务达到sota的谷歌新模型
shujushizhanpai的博客
05-22 1055
现有的预训练模型（pre-trained models）通常针对特定类别的问题。迄今为止，对于正确的模型架构和预训练设置应该是什么，似乎学术界仍未达成共识。 谷歌团队在这个问题上迈出了重要一步：他们在Unifying Language Learning Paradigms这篇论文中提出了一个统一的预训练模型框架，该框架在数据集和设置中普遍有效。 在广泛的消融实验比较多个预训练目标之后，团队并发现这个方法在多种不同设置中优于 T5 和/或 GPT 模型，将这个ul2模型扩展到 20B 参数后，在 50 个完.
顶会集结+深度解析：医疗+AI如此火爆，NLP如何赋能？
zenRRan的博客
02-11 1096
点击上方，选择星标，每天给你送干货！文 | 辰鸿来自 | 高能AI医疗+AI如此火爆！本文对EMNLP2020和医学相关的若干篇文章做个梳理，并对部分文章进行一下解读，洞察研究者们在医学...
自然语言处理：语言认知的范式突破与智能系统实践
Gupao12的博客
04-26 974
从机器翻译到情感计算，自然语言处理技术持续拓展人机交互的认知边界。本文将深度解析大语言模型的技术本质，梳理从词嵌入到思维链推理的演进路径，为开发者构建从语义理解到生成式AI的全栈知识体系。
综述 | 从“说出来”到“脑中算”：Latent Reasoning的范式跃迁与无限可能
zenRRan的博客
07-10 759
它深入探讨了潜在推理的计算基础（神经网络层如何成为推理的“硬件”）、多样化实现方法（如何设计或训练模型进行“脑海推演”）、背后的工作机制（层堆叠如何像隐式CoT），并前瞻性地展望了“无限深度推理”这一激动人心的前沿（让模型想多久就多久）。揭示了计算扩展的统一性——无论是序列维度的显式CoT（水平扩展），还是深度维度的层堆叠/循环（垂直扩展），或是时间维度的长序列处理（优化即深度），本质都是为模型提供更多“思考”资源。它让我们超越“语言即思想”的直观认知，深入探索连续潜空间中更高效、更强大的推理形式。
NLP第四范式：Prompt概述【Pre-train，Prompt（提示），Predict】【刘鹏飞】
u013250861的博客
07-05 8585
prompt顾名思义就是“提示”的意思，应该有人玩过你画我猜这个游戏吧，对方根据一个词语画一幅画，我们来猜他画的是什么，因为有太多灵魂画手了，画风清奇，或者你们没有心有灵犀，根本就不好猜啊！这时候屏幕上会出现一些提示词比如3个字，水果，那岂不是好猜一点了嘛，毕竟3个字的水果也不多呀。看到了吧，这就是prompt的魅力，让我们心有灵犀一点通！(我不太会画哈，大家想象一下就行啦，嘿嘿嘿~~~) 论文以一种新的自然语言处理范式，称为“prompt-based learning”。该框架功能强大且具有吸引力，原因有
ATE Studio + SQL数据库：高效存储与查询海量测试数据的3种稀缺架构模式
!... # 摘要 本文系统探讨ATE Studio与SQL数据库集成的三种核心数据架构模式：基于关系型模型的标准化存储、时序优化型混合架构及面向分析的星型维度建模。通过理论分析与实践验证，分别阐述了各架构在测试数据建模、...
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1194
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
0011机器学习特征工程
老欧学视觉的博客
12-03 732
本文系统介绍了机器学习特征工程的关键内容，包括特征工程在机器学习流程中的重要性、数据处理方法和降维技术。主要内容涵盖：1）特征工程的核心作用是通过数据预处理提升模型效果，包括异常值处理、数据平衡、文本向量化等；2）详细讲解了数据清洗、缺失值填充、标准化/归一化、One-Hot编码等基础处理方法；3）重点阐述了文本特征提取技术（词袋法、TF-IDF）和降维方法（特征选择、PCA、LDA）。文章强调特征工程需结合业务场景进行特征衍生和优化，占整个开发流程30%-50%的工作量，是机器学习项目成功的关键环节。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 736
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
机器学习--损失函数
weixin_57225400的博客
12-04 380
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
【机器学习三大范式对比总结】
最新发布
严文文 Chris
12-04 269
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
【模式识别与机器学习（14）】惰性学习kNN（聚类分析）【3】K-means算法中K值确定的五种方式
hiliang521的博客
12-02 702
【模式识别与机器学习（14）】K-means算法中K值确定教程
【机器学习】27 异常检测（密度估计）
weixin_54010404的博客
12-03 810
本文介绍了异常检测的基本概念和方法。主要内容包括：1) 异常检测基于密度估计，通过构建概率模型识别异常值；2) 使用高斯分布建模特征概率，介绍最大似然估计方法计算参数；3) 多特征异常检测算法及其实现流程；4) 评估方法，建议划分训练集、验证集和测试集；5) 比较异常检测与监督学习的适用场景；6) 特征选择策略，强调特征分布分析和错误分析的重要性。文章指出异常检测适用于异常类型未知或样本稀少的情况，而监督学习更适合已知异常类型且有充足标注数据的场景。
贝叶斯学习
weixin_61562383的博客
12-03 1014
贝叶斯学习的核心不是直接判断“它是A还是B”，而是计算“它是A的概率是多少，它是B的概率是多少”，然后选概率大的那个。Pci​∣x∝Px∣ci​Pci​Pci​xci​Px∣ci​ci​xPci​∣xxci​结论： 贝叶斯分类器的训练过程，本质上就是在统计数据，估计先验概率和似然概率。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值