2402_86344613的博客

本文提出开源语言模型系列CodeS（1B-15B参数）以解决Text-to-SQL任务依赖闭源大模型的问题。通过增量预训练21.5GB SQL语料，结合模式链接优化和双向数据增强技术，CodeS在Spider、BIRD等9个基准上取得SOTA结果，参数规模缩小10-100倍。创新点包括：1）填补开源Text-to-SQL模型空白；2）增量预训练提升SQL能力；3）双向数据增强增强领域适应。实验显示CodeS在准确性和鲁棒性上优于GPT-4等方法，同时开源模型降低了部署成本。不足在于15B模型可能存在过拟合，

《少样本Text-to-SQL翻译的结构与内容提示学习》提出SC-Prompt框架，通过分阶段处理SQL结构和内容生成，结合混合提示策略与约束解码机制，显著提升了在训练数据有限场景下的模型性能。该方法采用T5预训练语言模型，在Spider等基准测试中仅用5%训练数据就超越现有最佳方法约5%准确率。研究创新性地降低了任务复杂度，减少了对大量标注数据的依赖，但尚需验证在其他语义解析任务上的适用性。未来将探索该方法在更复杂数据库场景的应用，为低资源环境下的自然语言数据库查询提供实用解决方案。