2402_86344613的博客

本文提出开源语言模型系列CodeS（1B-15B参数）以解决Text-to-SQL任务依赖闭源大模型的问题。通过增量预训练21.5GB SQL语料，结合模式链接优化和双向数据增强技术，CodeS在Spider、BIRD等9个基准上取得SOTA结果，参数规模缩小10-100倍。创新点包括：1）填补开源Text-to-SQL模型空白；2）增量预训练提升SQL能力；3）双向数据增强增强领域适应。实验显示CodeS在准确性和鲁棒性上优于GPT-4等方法，同时开源模型降低了部署成本。不足在于15B模型可能存在过拟合，

《少样本Text-to-SQL翻译的结构与内容提示学习》提出SC-Prompt框架，通过分阶段处理SQL结构和内容生成，结合混合提示策略与约束解码机制，显著提升了在训练数据有限场景下的模型性能。该方法采用T5预训练语言模型，在Spider等基准测试中仅用5%训练数据就超越现有最佳方法约5%准确率。研究创新性地降低了任务复杂度，减少了对大量标注数据的依赖，但尚需验证在其他语义解析任务上的适用性。未来将探索该方法在更复杂数据库场景的应用，为低资源环境下的自然语言数据库查询提供实用解决方案。

《A survey on deep learning approaches for text-to-SQL》阅读笔记

本文系统评估了基于大型语言模型（LLM）的Text-to-SQL技术，提出新型框架DAIL-SQL，在Spider数据集上创下86.6%的执行准确率新纪录。研究比较了多种提示工程方法，包括问题表示和示例选择策略，并验证了开源LLM（如LLaMA、Vicuna）通过监督微调可达到与商用模型相当的性能。作者特别强调提示工程的token效率优化，指出当前研究在SQL生成正确性优先于查询效率、大规模数据库适应性等方面的局限。未来工作将探索更多规则提示、扩展训练数据，并研究高效SQL生成方法。

HEXGEN-TEXT2SQL: 异构GPU集群上优化多阶段Text-to-SQL工作流的LLM推理调度框架 本文提出HEXGEN-TEXT2SQL框架，针对异构GPU集群中多阶段LLM驱动的Text-to-SQL工作流调度问题。通过分层调度方法（全局负载均衡+局部紧急性优先级队列）和轻量级仿真优化超参数，系统显著提升资源利用率并降低SLO违规率。实验显示，相比vLLM基线，该框架将延迟缩短1.41倍，吞吐量提升1.65倍。不足在于复杂查询优化和多租户公平性保障有待改进，未来可结合查询分析和动态资源分配进一

李沐老师在视频《如何读论文【论文精读·1】》中分享了他高效阅读学术论文的方法。论文通常包括标题、摘要、导言、方法、实验和结论六个部分。李沐建议分三遍阅读论文：第一遍通过标题、摘要、结论和实验部分快速判断论文的相关性和质量；第二遍略读全文，关注关键图表和文献引用，理解论文的主要内容和结构；第三遍进行精读，深入理解每一句话和段落，思考如何应用或改进作者的方法。这种方法帮助读者快速筛选并深入理解学术论文，提高研究效率。