SYNTQA:Mixture of Text-to-SQL and E2E TQA阅读

最新推荐文章于 2025-12-03 20:26:50 发布
原创 最新推荐文章于 2025-12-03 20:26:50 发布 · 280 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #人工智能 #自然语言处理

Abstract

文本到SQL解析和端到端问题回答（E2E TQA）是表格问答任务的两种主要方法。尽管在多个基准测试中取得了成功，但这两种方法尚未进行比较，它们的协同作用也未得到充分探索。本文通过在基准数据集上评估最先进的模型，识别了各自的优缺点：文本到SQL在处理涉及算术运算和长表格的问题时表现优越；而E2E TQA则在处理模糊问题、非标准表格模式和复杂表格内容方面更具优势。为了结合两者的优点，我们提出了一种协同表格问答方法，通过答案选择将不同的模型进行集成，这种方法与具体的模型类型无关。进一步的实验验证了，通过特征选择器或基于大语言模型（LLM）的答案选择器集成模型，相比单独模型，性能得到了显著提升。代码将在 https://github.com/siyue-zhang/SynTableQA 上公开。

Case Study

总结一下： 1，Text-to-SQL更擅长算术运算，更擅长长表格；E2E对模糊问题和非标准表格模式有较强鲁棒性，E2E TQA更灵活地处理复杂的表格内容，并且能够处理无法映射到SQL查询的问题。

【论文阅读】OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
qq_36643449的博客
03-10 5798
一、背景 神经网络的吸收信息的容量（capacity）受限于参数数目。 条件计算（conditional computation）针对于每个样本，激活网络的部分子网络进行计算，它在理论上已证明，可以作为一种显著增加模型容量的方法。 所以本文引入了稀疏门控专家混合层（Sparsely-Gated Mixture-of-Experts Layer），包括数以千计的前馈子网络。对于每一个样本，有一个可训练的门控网络（gating network）会计算这些专家（指前馈子网络）的稀疏组合。 二、模型结构 本文的条件
【论文阅读 | MoE】Mixture-of-Experts with Expert Choice Routing
weixin_62100548的博客
01-06 2652
这篇文章是在基础上对的优化，上篇文章具体内容见链接帖子。
CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
NEU_LightBulb的博客
11-01 1936
CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
MOE论文详解(1)-OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
10-15 2176
这是2017年Google Brain团队发表的一篇比较经典的论文, 可以做为MOE在大语言模型上应用的第一篇, MOE全称是混合专家(Mixture of Experts). 这里的每个Expert都是一个更小的神经网络, 比如最简单就是FC全连接网络, MOE整体不是一个完整的网络结构, 而是作为layer层嵌入到别的网络中.
【论文阅读】MOA，《Mixture-of-Agents Enhances Large Language Model Capabilities》
bylander的博客
06-19 3163
文章提出了一种新的方法，称为 Mixture-of-Agents（MoA），利用多个大型语言模型（LLMs）的集体优势来提高自然语言理解和生成任务的性能。MoA 方法通过构建分层的 MoA 架构，每层包含多个 LLM Agents，每个Agent使用前一层所有Agents的输出作为辅助信息来生成其响应。MoA 模型在 AlpacaEval 2.0、MT-Bench 和 FLASK 等基准测试中取得了最先进的性能，超越了 GPT-4 Omni。
Wavesplit: End-to-End Speech Separation by Speaker Clustering
aidanmo的博客
03-08 3891
0. Abstract 本文提出了一种端到端声源分离系统，Wavesplit。从混合语音中，模型推断每个声源的表示，然后根据每个声源的特征表示进一步估计声源，该模型经过训练，可以从原始波形中联合执行这两项任务。Wavesplit通过聚类推断一组声源的特征表示，其解决了声源分离的基本排列问题。在语音分离任务中，本文工作对长语音序列具有更加稳健的分离性能。本文模型在2人/3人纯净语音(WSJ0-2/3mix)，以及带噪语音、混响语音数据集都获得STOA性能。 1. Introduction 设计的模型能够保持.
LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-23 9861
​ LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读) 目录 相关文章 《DeepSeek-V3 Technical Report》翻译与解读 Abstract 1、Introduction 2、Architecture 3、Infrastructures
【Vision-Language】VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
Baigker的博客
12-16 2587
链接：https://arxiv.org/pdf/2111.02358.pdf 简介 首先我们做一些背景介绍，什么是vision-language？ 众所周知，目前人工智能涉及一个领域叫：多模态学习。简单而言，这个领域研究的重点在于如何将两种不同的东西联系起来，一起学习知识。比如： 不同媒介：图像和文字，视频和语音 不同语言：汉语和英语 因此 vision-language（VL）就是研究视觉与语言的联系，比如：给一张图片让计算机生成一段描述文字（图像描述生成，Image Caption）；给一张图片让
一文看懂推荐系统：排序02：Multi-gate Mixture-of-Experts (MMoE)
weixin_46838716的博客
08-22 4764
如果你们公司没有用MMOE，很可能是尝试之后发现没有提升。
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
01-31
DeepSeek-VL2是一种先进的混合专家视觉语言模型系列，旨在实现高级多模态理解。这些模型通过两个主要的升级，大幅度改进了其前身DeepSeek-VL。在视觉组件方面，DeepSeek-VL2采用了一种动态拼贴视觉编码策略，该策略...
《DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding》论文阅读
JiangKangbo的博客
03-22 857
在DeepSeek-VL的基础上进行了两个主要的升级：一个是采用了DeepSeek-V2中的MLA以及DeepSeekMoE架构，一个是动态平铺视觉编码策略（dynamic tiling vision encoding strategy）来处理具有不同纵横比的高分辨率图像。并且介绍了DeepSeek-VL2-Tiny, DeepSeek-VL2Small and DeepSeek-VL2三个不同参数量大小的模型，分别有1.0B, 2.8B and 4.5B激活的参数。
MoA: Mixture-of-Attention for Subject-Context Disentanglement in Personalized Image Generation
weixin_44994838的博客
10-09 1066
Lrouter​∣∣1−M⊙1−R∣∣22​R∣L∣1​∑l∈L​R0l​。
ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing
budahui的博客
12-25 1340
稀疏激活的专家混合模型（MoE）被广泛采用以扩大模型容量而不增加计算预算。然而，传统的TopK路由器以不连续、非可微的方式训练，这限制了它们的性能和可扩展性。为了解决这一问题，我们提出了ReMoE，这是一种全可微的MoE架构，它提供了一个简单而有效的替代方案，用于传统的TopK+Softmax路由，使用ReLU作为路由器。我们进一步提出了调节路由器稀疏性的方法，同时在专家之间平衡负载。ReMoE的连续性使其能够高效地在标记和层之间动态分配计算，同时也表现出领域专长。
论文阅读：Mixture-of-Agents Enhances Large Language Model Capabilities
handsome_lionet的博客
11-18 873
（2） 语言模型协作性的发现：即 LLM 之间的遗传协作性，其中模型在可以访问其他模型的输出时往往会产生更高质量的响应，即使这些输出的质量较低。另外开发了一个名为 MoA w/ GPT-4o 的变体，它通过使用 GPT-4o 作为最终 MoA 层中的聚合器，以优先考虑高质量输出。
论文笔记（一百零六）RynnVLA-002: A Unified Vision-Language-Action and World Model
xzs1210652636的博客
12-02 857
本文提出了RynnVLA-002，一个将视觉-语言-动作(VLA)模型与世界模型相统一的创新框架。该模型通过联合学习环境动态和动作规划，实现了视觉理解与动作生成的相互促进。研究采用了混合架构设计，结合离散联合建模和连续的Action Transformer头，有效解决了自回归动作生成中的错误累积问题，提升了泛化能力和推理速度。实验结果表明，在LIBERO仿真基准上，RynnVLA-002取得了97.4%的成功率；在真实机器人任务中，其集成的世界模型使整体成功率提升了50%，显著优于单独的VLA或世界模型。
[论文笔记] End-to-End Audiovisual Fusion with LSTMs
2302_76169191的博客
12-03 364
本文是《End-to-end visual speech recognition with LSTMs》的进阶篇。它将基于 LSTM 的端到端架构从视觉（Visual）扩展到了视听（Audiovisual）领域，并将任务从单纯的“说话内容识别”扩展到“语音识别和非语言发声分类”。
[论文笔记] 基于 LSTM 的端到端视觉语音识别 (End-to-End Visual Speech Recognition with LSTMs)
最新发布
2302_76169191的博客
12-03 188
这篇文章是端到端唇读领域的经典之作。它没有使用复杂的 3D-CNN，而是巧妙地利用双流架构（Raw + Diff）结合 LSTM/BLSTM，在 2017 年就实现了从像素到语义的端到端识别。对于后续研究，其最大的借鉴意义在于：**如何显式地让网络同时关注“形状”和“运动”**。
【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
iiiiii11的博客
11-29 410
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
[论文阅读] AI + 编码 | Agint：让LLM编码代理告别“混乱”，用图编译打通自然语言到可执行代码的任督二脉
张较瘦
11-29 768
LLM编码代理日益普及，但面临上下文管理、延迟、可靠性、可复现性及扩展性挑战。本文提出Agint——一款agentic图编译器、解释器与运行时，可将自然语言指令增量转换为类型化、效果感知的代码DAG。Agint引入TEXT→TYPED→SPEC→CODE的显式类型层，结合混合LLM/函数JIT运行时，支持动态图优化、可复现执行及与开发工具的互操作性。其DAG结构确保并发安全性与可组合性，支持小模型低延迟执行、大模型按需调用；还提供dagify、dagent等Unix风格工具链及GUI，赋能技术与非技术用户协
DeepSeek-V3: A Strong Mixture-of-Experts Language Model
02-01
### DeepSeek-V3混合专家语言模型架构与特性 #### 架构概述 DeepSeek-V3采用了一种基于稀疏门控机制的混合专家(MoE)结构，这种设计允许网络根据不同输入动态激活不同的子网络路径。通过这种方式，在保持计算资源高效利用的同时实现了性能上的显著提升[^1]。 #### 关键组件 - **路由函数(Routing Function)**: 负责决定哪些数据样本应该被发送给特定的专家处理单元。该过程通常依赖于softmax层来分配概率权重。 - **多个独立工作的小型DNN(Experts)**: 这些小型神经网络各自专注于解决不同类型的任务或模式识别问题。当接收到由路由器指派的数据后，它们会并行执行推理操作。 - **融合模块(Gating Network)**: 它接收来自各个专家节点输出的结果，并对其进行加权求和得到最终预测值。此部分同样运用了注意力机制以增强重要特征的影响程度。 #### 特性亮点 - **参数效率(Parameter Efficiency)**: 只有少部分活跃状态下的专家参与前向传播流程，从而减少了整体训练所需的内存占用量以及浮点运算次数[Fewer FLOPs per token processed compared to dense models]. - **可扩展性强**: 随着硬件条件改善和技术进步，可以轻松增加更多种类别的专精领域处理器而不会造成原有体系崩溃. - **多模态支持**: 不仅限于文本序列建模,还能够兼容图像、音频等多种形式的信息表示方法[Multimodal capabilities allow integration of different types of data into a unified framework][^2]. ```python import torch.nn as nn class MoELayer(nn.Module): def __init__(self, num_experts=4, input_dim=768, output_dim=768): super().__init__() self.routing_fn = nn.Linear(input_dim, num_experts) self.expert_layers = nn.ModuleList([nn.TransformerEncoderLayer(d_model=input_dim,nhead=8) for _ in range(num_experts)]) self.gate_layer = nn.Linear(num_experts * input_dim,output_dim) def forward(self,x): route_weights = torch.softmax(self.routing_fn(x),dim=-1).unsqueeze(-1) expert_outputs = [] for i,expert in enumerate(self.expert_layers): out_i = expert(x)*route_weights[:,:,i] expert_outputs.append(out_i) combined_output = torch.cat(expert_outputs,dim=-1) final_out = self.gate_layer(combined_output) return final_out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值