企业落地 NL2SQL,需要的是 AI-ready data 和小模型

NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL] 阅读详情

在这里插入图片描述

作者 | 矩阵起源

转载自 | InfoQ

当 NL2SQL 从 Demo 走向生产,关键不在"更大的模型",而是"更干净的数据底座 + 更小的专用模型 + 更可控的工程化流程"。

摘要

先数据、后模型:把元数据、业务语义、权限、样例 SQL 做成"AI-ready data",是 NL2SQL 能否可靠落地的第一性问题。

小模型足够用:以 3B-7B 级别的代码/SQL 友好模型,配合 LoRA 微调 + 语法约束解码 + 执行校验,就能获得很好的效果。

落地成本低:相比动辄 100B 参数量以上的全量大模型,小模型的实际落地可能性更大,需要的算力支撑对于企业来说更加容易投入。

评估要换维度:Execution Accuracy(执行一致性) 比 Exact Match 更接近真实可用性,应与回放/灰度一起形成闭环。

工程化路径:建立"Schema 服务 → 计划器(小模型)→ 安全执行沙箱 → 观测与纠错回路"的最小可行系统(MVP),再逐步引入 AST 约束、检索增强、对齐训练。

"大模型 + 开箱即用"常常失灵

业务语义缺席:amt、dt、no 在不同库含义不同;缺少别名词典、指标口径、实体映射,模型只能基于已有训练资料进行推理。

治理与合规割裂:多租户/跨源 JOIN、限流、行列权限、审计等使"能生成 ≠ 能执行"。在真实生产环境业务流程背景来支撑查询,而模型往往无法直接获得这部分含义。

评估口径失真:只看字符串级 Exact Match,忽略"结果等价"与"能否在你的库上跑通"。

成本/延迟不可控:把大而全上下文塞给通用大模型,需要对于 prompt 做深度优化,同时过长的上下文还可能导致 Context-Rot 以及 Lost in the middle 的问题出现。

我们实际场景落地过程中发现,没有 AI-ready data,就没有可落地的 NL2SQL。

任务属性决定解法:NL2SQL 更像"受限代码生成/语义解析"

输出是形式语言(SQL):语法强约束、词表相对小、可执行、可验证。

输入可结构化:数据库 Schema、主外键、候选列/表、样例值都可作为外部信号。

所需推理是"结构性推理":列/表选择、聚合、条件组合、时间窗,而非开放域常识。

这类问题适合通过结构化约束 + 外部知识接口来"降维",而不是单靠更大的通用常识模型"硬顶"。

为什么选小模型:理论支持 + 工程证据

3.1 语法/AST 约束降低搜索熵

对形式语言施加语法/AST 约束解码(如 PICARD/CFG/JSON-Schema/XGrammar 一类),在解码每一步屏蔽不合法 token,把"自由生成"变为"受限搜索",显著降低无效 SQL、提升可执行率。

含义:当输出空间可被约束时,小模型 + 约束 = 大增益。

3.2 外部结构信息替代"内生常识"

引入schema linking(表/列同义词、主外键、示例值)与候选集剪枝,把"隐式知识"外显为"可调用的结构化接口"。

含义:当外部信号充足时,模型无需承载过多通用知识,合适的容量即可。

3.3 规模-性能-成本的最优点

根据 scaling laws:质量与参数/数据/算力相关,但在企业场景必须把推理成本与延迟纳入目标函数。这里我们参考了 DeepMind 的理论【Training Compute-Optimal Large Language Models】,在更高质量,更加密集的数据集上,参数较小的模型也能够在固定任务上超越大参数量模型。

在这里插入图片描述

在 Closed-book question answering 场景上,70B 的 Chinchilla 甚至能够超越 128B 的 GPT-3。

在这里插入图片描述

微软的 phi 系列模型也从侧面证实了这一点。

含义:在可强约束、可外接结构信息的 NL2SQL 上,最优点通常落在3B-7B 代码向模型,而不是一味做大。

3.4 工程证据:窄域任务上,代码向小模型常优于通用大模型

预训练偏置:代码/SQL 语料带来强语法与组合性偏置,天生适配 SQL 生成。

确定性更强:配合保守解码(低温度/不采样/beam 可选)与固定输出前缀,小模型更容易"按模板出活"。

延迟与成本优势:可本地/私有化部署,甚至可以做本地化的 A/B 测试与小模型灰度上线。降低运维难度和部署成本。

实践过程

我们在 CSpider/CSpider 衍生数据上,围绕M-Schema 数据表示、约束池数据增强、BM25→SIC 两级 Schema Linking与小模型 LoRA 微调,打通"从训练到推理"的一致性链路,并在内部集上显著降低结构/语义幻觉、提升执行一致性。

4.1 技术架构总览

两步式推理:先做Schema Linking(筛表/列/外键),再做SQL 生成(在精简 schema 上生成)。这样可在大库上显著降维并提升准确率。

小模型路线:以Qwen2.5-Coder-3B/7B为基座,LoRA轻量精调;用DeepSpeed做显存/吞吐优化。

数据侧增强:以M-Schema提供字段类型/中文描述/主外键/真实值样例;引入约束池自动注入排序/去重/Top-K/窗口等口径。

统一数据底座:整个流程建议构建于MatrixOne这类HTAP数据库之上。其架构能避免"元数据在交易库、数据在分析库"的割裂状态,从源头整合 Schema、业务数据与日志,为 AI-ready data 提供单一可信源。更进一步,Matrix Intelligence平台在此基础上,将 Schema、元数据、业务词典与权限等进行统一纳管,形成面向 AI 的数据资产目录,从基础设施层面解决语义缺席问题。

4.2 数据与 Prompt:M-Schema + 约束池

M-Schema在传统"表/列清单"之上,补充类型、主键、中文释义、真实值示例,显著提升字段语义可读性与模型可对齐性(示例略)。

在训练数据构造上,我们进一步将字段示例值抽取注入训练样本;在推理时对不可读字段名做临时可读映射→后处理映回,实际提高了"表/列命中"。

约束池自动识别查询语义类型(计数/聚合/多行)并注入去重、精度、排序、限制等约束,增强数据多样性与鲁棒性。

这一系列"AI-ready data"的准备工作,从多源异构数据到高质量的 M-Schema,恰好是MatrixOne Intelligence这类平台的价值所在。它通过以下能力,将数据准备流程从手工作坊式的脚本开发,升级为可治理、可复用的工程化体系:

统一接入与纳管:通过内置连接器,自动化地从业务库、数据湖、SaaS 应用等数据源同步数据与元数据,形成统一的数据资产视图。

SQL 驱动的数据流:所有清洗、转换、特征构建(如拼接字段、构造 Flag)等步骤,都可以通过标准的 SQL 编排成可调度、可监控的数据工作流(Workflow),保证了过程的透明与可维护性。

向量化辅助质检:平台内建的向量引擎不仅用于下游的语义检索,更能在数据准备阶段发挥关键作用。例如,可以对业务术语、字段注释进行向量化,通过相似度计算辅助发现同义词、识别命名不规范的"影子字段",或对历史查询日志进行聚类分析,挖掘数据质量的薄弱环节。

训练/推理输入统一采用 ChatML 指令格式,并只在 assistant段计算损失以稳定输出。

4.3 Schema Linking:BM25 粗排 → SIC 精排(两级)

BM25 粗排:把"表 + 列 + 注释"拼成文档,对问句做 BM25 打分,取 Top-k 表;毫秒级延迟可支持在线。

SIC 精排:加载在域内数据微调过的Schema Item Classifier(Encoder+ 交互层),对表/列逐项相关性打分,产出精简 schema。

结果封装:把精简 schema 序列化回M-Schema,与问句拼装成RESDSQL风格样本;同一流程用于训练与推理,保证Train-Infer 一致。

工程要点:BM25 <5 ms;SIC 批量推理单批可处理数百问句,显存 <2 GB;Prompt 中重复注入问句降低 schema 噪声干扰。

4.4 幻觉抑制与效果

问题刻画:结构/语义/事实三类幻觉导致执行失败与答案错误,是落地核心风险;其根因包括先验缺失、数据稀疏、Prompt 不足、采样过随机、训练数值不稳。

我们的方案:

  • 两级 Linking 从源头压缩搜索空间;
  • 低随机性推理(低温度/束搜索);
  • 结合Executor-Guided与语法约束(训练时语法惩罚/对比学习可选)。

实测收益:结构幻觉率7.9%→1.3%,语义误配约**-18%;在 Spider-S4 内部集Execution Accuracy +6.4%**。

Key Results

在这里插入图片描述

流程概览

在这里插入图片描述

通过M-Schema(结构与示例值)、约束池(口径与规则)、BM25→SIC 两级 Linking与小模型 LoRA 精调 + 训练-推理一致性,我们在不依赖超大通用模型的前提下,显著压降结构/语义幻觉并提升 EX 指标;在企业库与业务小样本上也获得了稳定收益。

引用链接

  • Spider:https://arxiv.org/abs/1809.08887
  • wikiSQL:A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization(https://arxiv.org/pdf/1902.01069)
  • Training Compute-Optimal Large Language Models(https://arxiv.org/pdf/2203.15556)
  • Textbooks is all you need(https://arxiv.org/pdf/2306.11644)
  • Qwen2.5-Coder Technical Report(https://arxiv.org/pdf/2409.12186)
NL2SQL进阶系列(1):DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解 阅读详情

相关推荐

DeepSeek赋能企业数据智能化:70个场景规划与落地指南

企业数据智能化的前提不是先上大模型,而是先做好数据治理。只有数据标准、数据质量、数据血缘和权限体系足够清晰,大模型才能在业务中真正发挥作用。DeepSeek作为大模型能力底座,通过数据治理、智能分析、平台架构、决策赋能和安全合规五大域,拆解出70个可落地的场景,覆盖从数据接入、知识库构建到NL2SQL交互查询、自动化预测建模等关键环节。其核心技术价值在于依托语义理解与RAG知识工程,将企业指标口径和业务规则沉淀为结构化知识,让AI回答带着上下文。场景规划的意义在于提供全局视野,而落地则需通过模块化算子层、场

weixin_34348174的博客 346

LLM驱动的NL2SQL方法论:现状、难点、优化

Natural Language to SQL (NL2SQL) 是指将用户的自然语句转为可以执行的 SQL 语句。综合考虑上述Prompt策略,以及经过大量的实践,我们可以总结一套比较通用的NL2SQL的Prompt方案。

lengm 9073

DeepSeek-R1在运维场景的落地实践:日志归因、Text2SQL与命令校验

大模型在IT运维中的应用,本质是将非结构化系统输出(如日志、命令结果、指标数据)转化为可推理、可验证、可执行的智能决策。其核心依赖于长上下文理解能力、对Shell/SQL/Python等运维语言的精准解析,以及低延迟本地推理能力。DeepSeek-R1凭借16K稳定上下文、内置POSIX与系统文档训练、Q4_K_M量化后单卡3090即可部署等特性,成为私有化运维AI落地的高适配选择。本文聚焦真实产线场景,涵盖多源日志归因、自然语言转安全SQL、故障预案生成及高危命令三级校验等关键技术路径,为SRE与运维开发

weixin_33768481的博客 414

自然语言到SQL语言转义(基于大语言模型的NL2SQL)

PolarDB for AI推出LLM-based NL2SQL模型,帮助用户通过自然语言查询数据库。该模型支持复杂函数和简单映射关系,使用流程包括快速启动、优化调优和生产部署三个阶段。使用前需为AI节点配置数据库账号权限,并在DMS中修改连接地址为集群地址。注意事项包括提问方式规范和表列注释完善度对查询准确率的影响。使用步骤包括构建检索索引表、导入数据、执行自然语言查询等。进阶功能支持问题模板配置、宽表处理等定制化需求。该方案显著降低了非技术用户进行数据分析的门槛。

Made In SQL 1742

零代码搭建专业知识库:Wiki.js+cpolar让团队协作像写笔记一样简单

"项目文档又找不到了!“团队负责人小张第N次在群里看到这样的抱怨——技术文档分散在邮件、网盘和个人电脑里,新人入职要花一周熟悉文档位置,远程协作时版本混乱更是家常便饭。Wiki.js与cpolar内网穿透服务的出现,就像给团队协作装上了"中央大脑”,用写Markdown笔记的简单方式,搭建一个专业的知识库系统。普通人对知识管理的需求其实很简单:方便记录、容易查找、大家能用。但传统方案把这个过程搞得异常复杂:建服务器、配环境、学语法、搞权限……大部分团队还没开始就放弃了。

Yawesh的博客 2042

RK3568平台YOLOv11模型部署全流程实战:环境搭建、模型转换与性能优化解析

在AI边缘计算领域,瑞芯微RK3568芯片凭借其强大的NPU算力和丰富的接口资源,成为了众多开发者的首选平台。然而,瑞芯微官方文档虽然提供了YOLO11预训练模型的部署方案,但对于需要自定义数据集训练的开发者来说,从模型训练到板端部署的完整流程却缺乏详细指导。本文将带你走完从环境搭建、数据准备、模型训练到最终板端部署的完整技术路线,并分享实际开发中遇到的各种坑点和解决方案。让我们一起探索如何在RK3568平台上实现30FPS稳定推理的YOLO11目标检测应用!

LXY_LOVE36的博客 123

一篇大模型NL2SQL全栈技术最新综述

理解自然语言查询:首先理解用户的意图,识别NL中的关键部分,例如实体或属性、时间上下文和特定条件。链接数据库架构和检索内容:基于对NL的理解,检查数据库架构和内容,识别生成SQL所需的相关表、列和单元格值。将NL意图转换为SQL:最后,根据对NL和数据库概念的理解,编写相应的SQL查询。

m0_59235699的博客 1万+

ZYNQ PL通过EMIO ETHE1外接PHY由GMII转RGMII

1,设置EMIO方式引出ETHE1 2,从GMII过度到RGMII GMII: 发送 gmii_tx_clk gmii_tx_d[7:0] gmii_tx_en gmii_tx_er 接收 gmii_rx_clk gmii_rx_d[7:0] gmii_rx_dv gmii_rx_er RGMII: 发送 tx_clk tx_d[3:0] tx_ctrl 接收 rx_clk rx_d[3:0] rx_ctrl 首先数据总线从时钟单边沿采样8bit转变为了双边沿采样4bit,从88E1

wangjie36的博客 1万+

腾讯云数据智能:构建可信、可控、可演进的 Data Agent

DataAgent的成功落地需要工程化体系支撑,腾讯云通过五层架构(上下文层、推理层、执行层、可观测层、治理层)实现从演示Demo到生产系统的跨越。其TCDataAgent产品凭借多Agent协作、自我进化、开放集成三大特性,正在重新定义企业数据消费模式。

cloudbigdata的博客 525

基于STM32的智能血氧、心率、体温、血压监测系统

摘要:本文设计了一款基于STM32F103C8T6的多功能健康监测系统,可实时检测血氧、心率、体温和血压四项生理参数。系统集成MAX30102、DS18B20等传感器模块,采用OLED显示和蓝牙无线传输技术,实现一键血压测量、阈值报警及手机APP数据管理功能。硬件设计包含传感器采集、电源管理、显示报警等模块;软件采用模块化架构,实现数据采集处理、蓝牙通讯等功能。测试表明系统测量准确可靠,为家庭健康监测提供了便携解决方案。未来可扩展更多监测参数和智能分析功能。

3254968421的博客 773

从SOMEIP看SOA,汽车电子电器架构的转变

从SOMEIP看SOA,汽车电子电器架构的转变

天赐好车的博客 244

腾讯云黄世飞:全面升级Data+AI能力,构建企业智能化数据基座

在本次大会上,面向融合创新场景,腾讯云大数据平台TBDS也升级亮相,凭借核心引擎的优化,整体性能提升65%。腾讯云副总裁黄世飞表示,腾讯云致力于融合Data+AI一体化能力,并引入AI Agent赋能,旨在解决传统数据平台在多模态处理和智能化上的不足,推动企业形成差异化AI竞争力,释放数据价值。面向企业知识库构建,腾讯云增强了ES的云上能力,支持文本与向量的混合检索,并引入AutoRAG一键化生成方案,在10亿规模向量场景下实现毫秒级响应,查询性能提升10倍,存储节省高达90%。

weixin_57213187的博客 286

2025.05.28【读书笔记】|如何用SILVA和RFAM数据库高效去除rRNA污染

摘要: 在Ribo-seq等测序数据分析中,清除rRNA污染对结果准确性至关重要。仅使用SILVA数据库可能遗漏5S rRNA污染,建议结合RFAM数据库(特别是RF00001家族)全面清除。操作要点包括:下载两库序列、将RNA碱基U替换为DNA的T、合并序列建立索引,使用bowtie2过滤rRNA reads。注意U/T转换是关键,否则会导致比对失败。该方法能有效提升数据清洁度,为后续分析奠定基础。

980

腾讯云大数据升级Data+AI能力体系,构建AI-Ready的智能大数据平台

在应用层,腾讯云通过Data Agent和ChatBI等创新实践,将智能能力融入数据使用的每个环节。面向运维场景,腾讯云大数据推出智能Agent体系,包括自主调优、自主运维和预测治理三类Agent,能够降低资源成本15%,将问题排查时间从数小时缩短至30分钟,并实现事前预警和自动化处置,大幅提升大数据系统的稳定性与效率。腾讯云副总裁黄世飞表示,腾讯云致力于融合Data+AI一体化能力,并引入AI Agent赋能,旨在解决传统数据平台在多模态处理和智能化上的不足,推动企业形成差异化AI竞争力,释放数据价值。

cloudbigdata的博客 236

【华为OD机试真题】282、求满足条件的最长子串的长度 | 机试真题+思路参考+代码分析 (C++、Java、Py、C语言、JS)

题目描述 >给定一个字符串,只包含字母和数字,按要求找出字符串中的最长(连续)子串的长度,字符串本身是其最长的子串,子串要求: >  1、只包含1个字母(a~ z,A~Z), 其余必须是数字; 2、字母可以在子 串中的任意位置; >  如果找不到满足要求的子串,如全是字母或全是数字,则返回-1

KJ.JK 1万+

《备考系统架构设计师》 - 专栏介绍和目录

本专栏包括所有历年真题及详解、章节知识核心总结、精选高分论文、补充知识、专题总结等。欢迎订阅专栏。

数据知道的博客 4万+

AI Agent越来越聪明,为什么企业还是不敢让它直接做决策?

对于普通聊天场景而言,回答错一个常识问题,最多只是尴尬。但当AI开始参与经营分析、风险判断甚至管理决策,一个指标口径的偏差,可能直接影响对业务的判断。所以,企业真正需要解决的,已经不只是“让AI获得更多数据”,而是让AI真正理解这些数据背后的业务含义。而这恰恰是过去很少被当作AI问题讨论的事情——

a958014226的博客 317

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

数据语义编织:企业级 Data Agent 的必备基建

2025 年,每家企业都想拥有自己的 Data Agent,但 90% 的项目可能不是死在 Demo 阶段就是建成后无人问津。为什么?

Aloudata的博客 924

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

2026年最新趋势:AI时代企业如何建设数据系统

2026年,企业数据系统建设正处在一个关键的转折点上。IDC FutureScape预测,到2026年,中国500强企业中将有40%采用流式数据技术和物化视图来满足Agent中实时数据处理需求,50%的中国500强企业将部署数据分析Agent来自动化日常任务。当AI Agent从概念走向规模化落地,企业数据系统面临的核心命题已经改变:过去十年是“把数据管起来”,现在则是“让数据为Agent而生”。

2600_96788435的博客 35

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

语义层(Semantic Layer)治理实战:让 Text2SQL 与 Data Agent 从“猜口径”到“读口径”

多数企业把 Text2SQL 准确率上不去归因于模型能力,但公开评测显示同一个模型从干净小库换到企业库房,准确率会从 90% 级别跌到 11% 级别,约八成错误出在 schema 与语义层。本文拆解语义层与数据目录、指标库的边界,给出四要素建模法、NL2DSL2SQL 架构、别名与语义边界表设计、六项健康度指标与六个高频踩坑。

一个数据人的博客 356

Metric Layer 建设指南:如何先从核心指标层启动企业语义工程

Metric Layer 只是语义工程的高价值起点。它主要解决经营指标及其分析关系,后续仍需扩展业务对象、流程关系、权限规则、知识和行动语义,才能形成更完整的企业语义体系。

Aloudata的博客 319

AI数据资产管理平台全景洞察:从治理基座到智能体应用

AI数据资产管理平台正在经历一场深刻的进化:从“给人看的目录”变成“给机器用的决策依据”,从“被AI治理”走向“用AI治理”。普元“易数”代表了其中一条清晰的路径——以深厚的数据治理根基为底座,以AI贯通从数据产生到智能体消费的全链路,在可信合规的前提下释放数据的智能生产力。当然,没有“最好”的平台,只有“最匹配”的平台。企业应根据自身的数据现状、业务目标和合规要求,做出理性的技术选型决策。

aishuaicai的博客 220

Databricks湖仓AI实战:Unity Catalog、Delta Lake与Genie深度协同指南

数据湖仓架构正从‘存储+计算’迈向‘可理解、可推理、可交互’的智能阶段。其核心在于结构化数据如何被自然语言准确调用——这依赖于统一元数据治理(Unity Catalog)、强一致性存储引擎(Delta Lake)与语义层桥接能力(Genie)的深度耦合。Unity Catalog提供带血缘、质量规则与敏感标记的可信数据图谱;Delta Lake通过ACID事务、TIME TRAVEL和OPTIMIZE保障数据稳定与可溯;而Genie则依托二者构建的AI-ready黄金层,将业务问题实时翻译为可信SQL与可视

weixin_34189116的博客 540

构建AI-Ready数据底座:基于EventHouse与MCP协议赋能智能体实时数据交互

在数据驱动决策的时代,企业数据基础设施正面临从传统查询向智能交互的范式转移。其核心原理在于通过语义化层和标准化协议,将结构化数据转化为AI可理解、可调用的服务。这一转变的技术价值在于打通大模型与业务数据之间的鸿沟,使AI智能体能够实时、精准地获取和分析信息,从而提升决策自动化水平。应用场景广泛覆盖实时监控告警、智能客服、风控决策和业务分析等领域。本文聚焦于结合事件驱动架构(EventHouse)与Model Context Protocol(MCP),探讨如何构建支持自然语言交互、具备细粒度权限控制的数据服

weixin_33889665的博客 480

Aloudata 入选 IDC “Data Flow Agent 代表厂商”和 DAC “数据资产运营商 TOP10”

在智能问数方面,Aloudata 开创了 NL2MQL2SQL 的全新技术路径,通过引入 NoETL 明细语义层,让企业告别“数据幻觉”,显著提升问数的准确性

Aloudata的博客 1005

MuleSoft+LangChain双引擎实现企业级AI编排

AI编排(AI Orchestration)是解决大模型在真实业务系统中落地难的核心范式,其本质是将LLM的语义推理能力与企业级集成平台的数据治理、安全合规、事务控制能力深度协同。不同于单点AI工具链,它强调数据标准化、规则确定性与决策可审计性的统一,适用于金融、制造等强监管行业的CRM、ERP、SRM等多系统联动场景。本文基于银行、汽车零部件、保险三大实战项目,详解如何用MuleSoft承担企业交通指挥职能,LangChain专注AI智能执行,构建高可靠、可追溯、易扩展的AI中台底座。

weixin_30616969的博客 382
上一篇: 第五届 HiPM 产品创新力峰会|矩阵起源带您深度解析企业级 Agent 实践
下一篇: 当人人都在谈模型时,拖垮 AI 项目的却是“数据“这件事
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值