- 博客(31)
- 收藏
- 关注
RSS订阅原创 【text2sql】基于上下文文学习的MCS-SQL框架在Spider和BIRD取得了新SOTA
研究背景：大型语言模型（LLMs）在文本到SQL（Text-to-SQL）任务中，通过上下文学习（ICL）方法取得了显著的性能提升，但与人类专家相比，性能仍有较大差距，尤其是在处理复杂数据库模式和查询的基准测试中。 研究方法：本研究提出了一种新方法，利用多个提示（multiple prompts）来探索更广泛的可能答案空间，并有效聚合这些答案。通过多提示强化数据库模式链接，生成多样化的候选SQL查询，并基于置信度分数过滤这些查询，最后通过多项选择（multiple-choice selection）获取最优
2024-10-11 14:42:28
1091
原创 【2024年云栖大会】通义灵码AI编码助手和AI程序员背后的技术
在大模型时代背景下，AI编码助手如通义灵码被设计用于提升开发者效率和扩展其能力边界，分为初期使用基于规则或小模型的工具，现阶段AI辅助提高开发效率，未来AI可能成为开发主力，人类更多担任决策和监督角色。讨论了AI编码助手在代码生成补全功能的构建与优化，强调了在生成代码质量和契合开发者行为两方面的挑战，通过高质量代码对齐、代码post training、跨文件感知和版本感知等技术措施提升实用性和用户体验。提出了一种基于真实场景的数据集来评估代码生成模型的方法，强调了通义灵码编码助手在评价中的良好表现。
2024-10-11 14:06:13
950
原创 【text2sql】ReFSQL检索生成框架
挑战：现有方法直接将自然语言与SQL语言对齐，训练一个编码器-解码器模型来适配所有问题，但往往忽略了SQL的结构特征和特定结构知识与一般知识之间的差异，导致生成的SQL语句出现结构错误。ReFSQL框架提出了一个检索增强框架，包含结构增强检索器和生成器两部分。实验结果：在五个数据集上的实验结果验证了该方法在提高Text-to-SQL生成的准确性和鲁棒性方面的有效性。
2024-10-10 13:48:34
1072
原创 【text2sql】新模型架构RESDSQL取得了SOTA效果
论文提出了一种新的框架，用于解决Text-to-SQL任务中的耦合问题，即将数据库模式项（例如表和列）与SQL查询的骨架（例如SQL关键词）分离。作者提出了一种增强排名的编码和骨架感知的解码框架，以分离模式链接和骨架解析。在Spider及其三个变体（Spider-DK、Spider-Syn和Spider-Realistic）上评估了提出的框架，实验结果显示该框架具有良好的性能和鲁棒性。
2024-10-09 17:58:35
1240
原创 【Text2SQL】当前在BIRD基准测试集上取得SOTA的论文
论文探讨了在大型语言模型（LLMs）时代，文本到SQL（Text-to-SQL）转换中模式链接（Schema Linking）的作用和重要性。论文没有提出其他新的方法，而是提出了一个观点，即随着语言模型的发展，模式链接在文本到SQL任务中的重要性可能会降低，尤其是在模型的上下文窗口足够大以容纳整个模式时。作者通过3个实验验证了这一观点，并提出了一种不依赖模式链接的文本到SQL管道，该管道在准确性上取得了优异的成绩，在BIRD基准测试中排名第一，准确率达到71.83%。
2024-09-30 15:42:15
855
原创 【Text2SQL】DAIL-SQL阿里推出，在Spider取得了SOTA
论文详细介绍了DAIL-SQL方法，这是一个针对Text-to-SQL任务的提示工程方法。这个方法旨在通过精心设计的提示（prompt engineering）来优化大型语言模型（LLMs）的性能。通过这种细致入微的策略选择和优化，DAIL-SQL在Spider数据集上取得了86.6%的执行精度，当时取得了SOTA，显著提高了Text-to-SQL任务的性能，并在效率上也表现出色。
2024-09-23 14:17:19
1351
原创 【Text2SQL】PET-SQL：在Spider基准测试中取得了SOTA
论文方法的方法论：提示（Prompting）：设计了一个详细的提示模板，包括数据库模式信息、表中的样本值和优化规则。基于问题的预 SQL 生成：通过问题骨架相似性检索少量示例，然后使用这些示例作为提示生成初步的 SQL（PreSQL）。模式链接和最终 SQL 生成：基于 PreSQL 进行模式链接，简化提示信息，并生成最终的 SQL（FinSQL）。交叉一致性：使用不同 LLM 之间的交叉一致性而不是单个 LLM 的自我一致性来提高结果的准确性。
2024-09-20 14:47:02
999
原创 【Text2SQL】领域优质论文分享
这篇论文的主要贡献在于提出了一种新的方法来增强大型语言模型（LLMs）在少量样本（Few-shot）情况下进行文本到SQL（Text-to-SQL）任务的能力。具体贡献包括：提示设计策略：系统地研究了不同的示例选择方法和最优指令格式，以在Text-to-SQL任务中有效地提示LLMs。双目标演示选择：提出了一种新的演示选择策略，平衡了演示的相似性和多样性，通过利用SQL查询的句法结构来检索演示，从而提高性能。数据库相关知识增强：展示了LLMs可以从特定情况下的数据库相关知识增强中受益。
2024-09-20 13:25:55
757
原创 【最强推理模型OpenAI o1】通过训练思想链提升模型推理能力
OpenAI o1，这是一种新的大型语言模型，经过强化学习训练可以执行复杂的推理，o1 在回答之前会思考，它可以在回应用户之前产生一个长长的内部思路链。通过训练，它们学会完善自己的思维过程，尝试不同的策略，并认识到自己的错误。
2024-09-14 14:53:48
1010
原创 【大模型产品PMF】技术与业务的认知决定成败
不要过于痴迷于技术本身。我发现很多团队过于强调技术，而忽略了业务需求，这常常导致大量资源和精力投入到技术开发，却没有创造出有价值的产品。建议在能用提示工程解决的地方就不要考虑微调，能用RAG解决问题的地方也不要再做技术上的微调。总结来说，技术固然重要，但在PMF阶段，更重要的是快速验证商业模式和应用场景。成功跨过这一阶段后，才会进入产品优化阶段，届时才能真正体现出技术的价值。
2024-09-12 17:41:57
441
原创 【Text2SQL顶会解读】DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
文章贡献：（1）通过任务分解提高基于LLM的文本到SQL模型的性能，（2）引入针对任务复杂性量身定制的自适应提示策略，（3）解决提示背景下的模式链接挑战，（4）使用LLM进行自校正。
2024-09-12 00:38:00
1317
原创 【知识图谱+RAG+LLM】知识图谱如何融入RAG？
知识图谱融入大模型面临的挑战：构造与真实性：如何构造知识图谱并确保信息的真实性。融合与应用：如何将知识图谱与大模型更好地融合，发挥各自的优势。结构化数据理解：如何让大模型更好地理解和利用知识图谱中的结构化信息。
2024-09-06 00:39:06
256
原创 【大模型幻觉】什么是LLM幻觉，原因及解决办法
大模型幻觉是当前人工智能领域面临的一个重要挑战，主要表现为大模型产生的错误或不合理输出，包括上下文矛盾、与要求不一致、与事实不符以及荒谬的回答。这些幻觉严重影响了大模型在产业界的应用，其背后的原因多种多样，涉及到训练数据的质量问题、模型设计缺陷、使用方式不当以及提示问题设计不合理等方面。
2024-09-04 14:02:26
996
原创 【Text2SQL】解读论文CRUSH4SQL: Collective Retrieval Using Schema Hallucination For Text2SQL
论文提出了一个名为 CRUSH4SQL的新方法，用于解决在大型数据库上进行 Text-to-SQL（自然语言到SQL语句转换）任务时遇到的挑战。 首先使用大型语言模型（LLM）“幻想”出一个最小的数据库模式，这个模式足以回答查询。然后，使用这个幻想出的模式来检索实际模式的一个子集，通过组合多个密集检索的结果。作者还引入了三个新的基准测试，包括两个半合成数据集和一个真实的大型数据仓库基准。
2024-09-02 00:06:35
1146
原创 【Text2SQL】快速解读论文C3: Zero-shot Text-to-SQL with ChatGPT
论文提出了zero shot 的 C3 的方法，C3由三个关键部分组成：清晰提示（Clear Prompting）、带有提示的校准（Calibration with Hints）和一致输出（Consistent Output），分别对应于模型输入、模型偏差和模型输出。具体来说，CP是一种新颖的零样本文本转SQL提示范例，它通过采用正确的输入来提高零样本文本转SQL的性能。此外，CH 还被提出来减轻 ChatGPT 在生成 SQL 查询时的偏差，从而通过校准模型偏差来提高零样本文本到 SQL 的性能。
2024-09-01 10:26:44
828
原创 【Qwen2-VL】3分钟带你快速了解阿里多模态大模型Qwen2-VL
通义千问实验室在8.30日发布了最新一代的视觉语言模型：Qwen2-VL ，开源了 Qwen2-VL-2B 和 Qwen2-VL-7B，并发布了 Qwen2-VL-72B 的 API，开源代码已集成到 Hugging Face Transformers、vLLM 和其他第三方框架中。这种设计不仅确保了模型输入与图像原始信息之间的高度一致性，更是模拟了人类视觉感知的自然方式，赋予模型处理任意尺寸图像的强大能力，使其在图像处理领域展现出更加灵活和高效的表现。
2024-08-31 11:09:37
2011
原创 【LLM与Text2SQL】简要探究存在的问题可解决方向，助力快速出创新点
由于大模型在text2sql任务上取得了重大成功，所以我只讨论大模型在此任务上存在的问题和解决方向。随着数据库模式的扩展，用数据库模式作为上下文提升模型生成sql方法遇到了某些限制。首先，LLM的上下文窗口是有限的，因此很难在prompt中容纳整个数据库模式。其次，最近的研究表明，增加提示大小以包含更多信息并不一定会提高性能；事实上，随着输入上下文变长，它可能会导致准确性下降。第三，在我们的实验中，我们观察到，通过仅选择与 NL 查询相关的相关表和列也可以获得更好的准确性。
2024-08-29 00:33:08
802
原创 【text2sql prompt优化方案】ACT-SQL: In-Context Learning for Text-to-SQL with Automatically-Generated Chain
论文主要提出ACT-SQL：自动根据问题和sql答案来构造从问题到答案的CoT(思考链)，由于绝大多数开源数据集都不含CoT数据，但是CoT方法被证明可以有效指导模型理解原始问题，并按实例所示思考，可以有效的提升text2sql任务的准确率。
2024-08-27 18:02:07
1112
原创 【ER-NeRF数字人】手把手教用ER-NeRF实现实时交互数字人
项目实现实时交互流式数字人，实现音视频同步对话，基本可以达到商用效果。metahuman-stream结合ER-NeRF训练好的模型，结合Synctalk克隆的音色模型可以较好实现商用数字人项目。
2024-08-27 13:50:10
2456
原创 【大模型面试题及答案二】5分钟快速掌握
解决“灾难性遗忘”或“领域偏差”：在训练过程中同时使用领域特定数据和通用数据，这样可以使模型在学习领域知识的同时保持通用能力。正则化技术可以帮助防止模型过度拟合领域特定数据，从而保持通用能力。
2024-08-16 15:59:39
800
原创 【本地部署开源模型ChatGLM3-6b】1分钟教会你如何部署大模型+使用
【本地部署开源模型ChatGLM3-6b】1分钟教会你如何部署大模型+使用。
2024-08-15 16:54:57
214
原创 【大模型面试题及答案一】5分钟快速掌握
由于模型对训练数据的依赖性以及架构的限制而导致。在设计和应用LLMs时，可以通过多样化训练数据、改进生成策略、应用后处理技术以及引入动态知识更新机制来缓解这一问题，提高模型的输出质量和创新性。
2024-08-15 14:52:25
1137
原创 【微调大模型参数详解】以chatGLM为例
batch_size: 批量大小，默认为4，每个GPU的训练批量大小。增加该值可以提高训练速度，但可能需要更多的显存。lora_r: Lora R维度，默认为64，指定Lora训练中用于调节的R维度大小。该参数影响Lora模块的复杂度和模型的表现。weight_decay: 权重衰减，默认为0.0，AdamW优化器的L2权重衰减率，用于防止模型过拟合。learning_rate: 学习率，默认为1e-4，优化器更新模型参数的步长。适当的学习率有助于模型的收敛。
2024-08-14 13:36:34
665
原创 【7种大模型微调方法】1分钟掌握大模型微调面试知识点
微调包含全量微调和PEFT，即参数高效微调，本文介绍的都是PEFT方法微调，其中包括 Adapter Tuning、LoRA、QLoRA 、Prefix-Tuning、Prompt Tuning、P-tuning 和 P-tuning v2。
2024-08-13 17:11:26
1012
原创 核函数与非线性支持向量机
SVM的目标是找到一个最优的决策边界（超平面），使得数据在边界两侧的间隔最大化。这个边界由称为支持向量的数据点决定。在实际应用中，很多数据在原始空间中是线性不可分的。这时，直接应用SVM可能无法找到有效的分类超平面。为了应对这种情况，SVM引入了核技巧（Kernel Trick），通过核函数将原始的低维空间映射到高维空间，在高维空间中找到一个线性可分的超平面。
2024-08-09 16:56:54
1104
1
原创 【GraphRAG论文解读】让你快速从0到1了解GraphRAG
论文发布于2024年4月24日，7月2日项目开源，作者都来自于微软研究院，论文目前是一个预印本（preprint），没有正式发表。第一个提出知识图谱+检索增强生成的方法，目的是解决大模型在利用外部知识回答问题时，原生的RAG方法难以有效回答QFS（查询聚焦摘要）问题。主要涉及两个阶段：1.利用prompt使大模型进行多轮实体关系提取，并构建知识库的知识图谱。2.对知识图谱进行社区检测并利用LLM生成社区摘要。
2024-08-09 16:26:19
3764
原创 LeetCode26:删除有序数组中的重复项
由于需要在原地修改，且保留非严格递增顺序，所以需要将数组左边第一个开始重复的数字和右边它紧邻着的非重复的数字交换位置。那么，我们需要使用双指针，指针left指向我们当前发生重复的数字，指针right指向紧邻非重复的数字。
2023-10-30 22:06:51
199
1
原创 LeetCode27:移除元素
上面方法时间复杂度太大了，我们使用了双层嵌套循环。我们为什么要从尾部也遍历一次呢？因为我们担心尾部交换过来的元素等于val，因为上面我们没次交换过后从头部严格执行了i++，如果我们在头部比较不同之后，再i++呢？那么我们的尾部可以直接交换，而无需判断不等于val，因为头部会判断交换过的值不等于val，再i++。
2023-10-26 23:02:47
101
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人