中科院半导体所论文再登 TNNLS 顶刊,贡献探索数学表达式的新视角

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

求解数学表达式是机器学习领域中一个非常重要的研究课题,而符号回归 (Symbolic regression,SR) 则是一种从数据中寻找精确数学表达式的方法。

符号回归用于揭示给定观测数据的潜在数学表达式,具有天然的解释和概括能力,能够解释变量之间的因果机制或预测复杂系统的发展趋势,在物理学、天文学等不同领域也有着广泛应用。

一个著名的应用案例是 Kepler 发现行星的轨道,科学家们通过符号回归算法,发现了一些新的天体运动规律,从而推导出它们的运行轨道。这对于人类探索宇宙的星辰大海有着重要贡献。

不过,符号回归研究也有其自身的难点。符号回归侧重于在给定自变量 X 和因变量 Y 的情况下,获得这些元素的最佳组合,并求解最合适的系数。但是,获得最佳组合是一个 NP-hard 问题 (non-deterministic polynomial),组合空间会随着符号表达式的长度呈指数增长。此外,系数的非线性求解过程和元素组合优化过程是相互干扰的,因此确定精确表达式就非常耗时。

针对这一学术界难题,中国科学院半导体研究所的研究人员将表达式结构的求解视为分类问题,并通过监督学习进行解决,提出一种名为 DeepSymNet 的符号网络来表示符号表达式。与目前流行的几种基于监督学习的 SR 算法相比,DeepSymNet 使用标签 (label) 更短,减少了预测的搜索空间,同时提升了算法鲁棒性。

在这里插入图片描述

论文地址:
https://ieeexplore.ieee.org/document/10327762
关注公众号,后台回复「DeepSymNet」即可下载论文

现有方法局限性凸显

目前流行的符号表达结构的解法主要分为两种:

  • 基于搜索的方案

经典的基于搜索的方案有GP (genetic programming ) 算法。首先随机获得许多表达方式作为初始种群,然后通过复制、交换和突变进行进化,并选择优度较小的后代继续进化,直到表达式满足优度要求为止。

另外,在基于搜索的方法中,有一类重要的方法是利用强化学习来搜索合适的表达结构,比如 DSR 算法,它将符号树编码作为序列,并使用深度强化学习中的策略梯度法进行求解。DSR 背后的理念是提高奖励较大的表达式的抽样概率,从而产生误差较小的表达方式。

还有一种用于物理公式的 SR 算法——AIFeynman,主要利用物理学中的先验知识来判断表达式结构,从而将表达式分解为更小的子问题,缩小搜索空间;另一种基于稀疏优化的方法——EQL,主要利用 BP 算法结合稀疏优化来学习参数,从而获得 EQL 网络中的稀疏子网络,进而获得数学表达式结构。

这一类方法除各自缺点明显之外,共同缺点就是速度较慢,因为搜索空间较大,而且无法重复使用求解经验。

  • 基于监督学习的方案

基于监督学习的方案可以克服基于搜索的方案耗时长的缺点,具有代表性的方法有SymbolicGPT、NeSymReS 和 E2E。

  • SymbolicGPT 将符号表达式编码为字符串,并将表达式结构解决方案视为语言翻译任务,其语言翻译过程中的 GPT 模型使用大量的人工生成样本进行监督训练;

  • NeSymReS 通过前序遍历将符号树编码作为序列,并使用 set Transformer 进行训练;

  • E2E 将表达式结构和系数编码成标签进行训练,从而同时预测表达结构和系数。

不过这些方案存在多个等价标签和训练样本不平衡的问题,在训练过程中容易产生歧义,影响算法的鲁棒性。除此外,它们还存在其他缺点,比如 SymbolicGPT 因为用于采样的符号数最多只有四层,所以其考虑的表达式相对简单;E2E 将系数编码为标签,使得标签很长进而影响预测精度等等。

全新解题思路——DeepSymNet

中国科学院半导体研究所的研究人员提出了一种名为DeepSymNet的全新符号网络来表示符号表达式,并展示了DeepSymNet的整体框架,第一层为数据,中间层是隐藏层,最后一层是输出层。

在这里插入图片描述

DeepSymNet整体框架

隐藏层节点由运算符号组成,包括+、-、×、÷、sin、cos、exp、log、id 等,其中 id 运算符与 EQL 中的 id 运算符相同。

每个隐藏层中的 id 运算符数等于前一层中的节点数,而其他运算符在每个隐藏层中仅出现一次。运算符 id 与上一层的节点一一对应,其作用使得每一层都能利用上一层的所有信息。其他算子都是普通算子,完全连接到上一层。

id 运算符与上一层之间的连接是固定的,普通运算符与上一层没有连接,或者有一个或两个连接,这意味着在该网络中一个子网络代表一个符号表达式。表达式占用的隐藏层越多,表达式的复杂度就越高,因此,可以用隐藏层的数量来粗略衡量表达式的复杂程度。

但要注意的是,输入层有一个特殊节点「const」,用于表示符号表达式中的常量系数。只有连接到「const」节点的边才有权重(常数系数),以防止符号表达式中出现足够多的常数系数。

总而言之,DeepSymNet 是一个可以表示任何表达式的完整网络,SR 的求解就是在 DeepSymNet 中搜索子网络的过程。

两组实验对照,优势尽显

研究团队分别基于人工生成的数据集和公共数据集进行了测试,并对当前流行的算法进行了比较。

数据集下载地址:
https://github.com/wumin86/DeepSymNet

实验中,DeepSymNet 最多有 6 个隐藏层,最多支持 3 个变量。研究团队为每个标签生成 20 个样本,每个样本包含 20 个数据点。常系数和变量的采样间隔均为 [-2,2]。训练策略是提前停止(即当验证集上的损失不再减少时停止训练)。辅助以 Adam 优化器。

  • 人工生成数据的测试结果

测试结果显示:

  • 预测的困难程度会随着预测对象数量的增加而增加,同时表达式的隐藏层(即复杂度)也会增加;

  • 标签预测的瓶颈在于操作员的选择;

  • DSN2 比 DSN1 更好地求解了最优和近似解;

  • 等效标签合并和样本平衡可以增强算法算法的鲁棒性。

首先,DeepSymNet 比符号树能更有效地表示表达式,对于在一个表达式中多次出现的同一模块,DeepSymNet 的平均标签长度比 NeSymRes 短。

在这里插入图片描述

使用 DeepSymNet 标签训练的模型的预测准确率远超使用 NeSymReS 标签训练的模型,如上图所示。这说明 DeepSymNet 标签优于符号树标签。

其次,随着表达式所占隐层数的增加,该模型的预测准确率迅速下降。所以,研究团队提出标签预测可以分为两个子任务——算子预测和连接关系预测,以确保标签预测问题能够得到更好的解决。

在这里插入图片描述

将 DeepSymNet 分为两部分进行训练的结果表明,随着隐层数的增加,算子选择的预测精度急剧下降,而连接关系的预测精度一直很高。这是由于算子选择空间要比连接关系选择空间大的多。所以,为了提高算子选择的准确性,研究人员对算子选择进行了单独训练。

在这里插入图片描述

在预测过程中,团队首先使用算子选择模型获得算子选择序列,然后将其输入到训练后的模型 DSN1 中预测连接关系,测试结果如上图。在对运算符选择进行单独训练后,预测精度大大提升。单独训练的模型称为 DSN2。

此外,研究人员还进行了验证等效标签合并和样本平衡增强鲁棒性的消融实验。首先随机抽取了 50 万个训练样本,其中包含 128,455 个不同的标签 (TrainDataOrg)。结果发现这些标签的样本数分布严重不均,最小样本数为 1,最大样本数为 13,196,样本数方差为 13,012.29。

在这里插入图片描述

随后团队对样本数进行了平衡,分别获得训练样本 TrainDataB,以及合并等效标签后获得的训练样本 TrainDataBM。

随后基于 3 个训练数据得到模型 DSNOrg、DSNB 和 DSNBM,这 3 个模型在测试集上进行了测试,三者从前至后准确率依次提升,说明增加样本平衡和合并等效标签后,模型求解最优解的准确率得到了提高,确实增强了算法的鲁棒性,提高了算法的性能。

  • 公共数据集测试结果

研究团队使用了 6 个测试数据集:Koza、Korns、Keijzer、Vlad、ODE 和 AIFeynman,从这些数据集中选取了不超过 3 个变量的表达式进行测试。与目前流行的基于监督学习的方法比较显示,该算法 (DSN1、DSN2) 的准确性优于对比算法。

在这里插入图片描述

此外,团队将该算法与当前流行的基于搜索的方法 EQL、GP 和 DSR 进行比较,得到结果如下图所示。

在这里插入图片描述

该算法 (DSN1、DSN2) 的平均误差最小,得到的表达式的复杂度也最接近真实表达式的复杂度。

综上,根据结果可以得出结论,该团队研究的算法在符号表达式误差、符号表达式复杂度和运行速度 3 个方面都优于对比算法,证实了该算法的有效性。

背后团队星光熠熠

关于符号回归的核心问题,全世界的科学家都在不断努力。尽管在论文中提到,DeepSymNet 仍有一些局限性,但这项研究仍旧为人工智能解决数学问题做出重要贡献,通过将其视为分类问题的方法,无疑为基于监督学习的 SR 方法提供了一个全新的解题思路。

当然,取得这一成就的背后还离不开一群人的热血和汗水,比如论文的第一作者吴敏,从中科院半导体所官网查询,吴敏现为中国科学院半导体研究所助理研究员,参与了「基于深度学习的符号回归及其在半导体器件研发中的应用」、「知识融合的神经网络分治约简符号回归方法」等多个科研项目。

另外,论文作者中的刘婧逸博士,在去年 7 月以第一作者的身份,被人工智能顶刊 Neural Networks 收录了一篇论文,论文题为《SNR: Symbolic Network-based Rectifiable Learning Framework for Symbolic Regression》,为符号回归问题提供了一种具有纠正能力的学习框架。

从相关课题的研究来看,国内正在扎扎实实地引领创新性的方法,未来可期的是,这些理论和研究成果必将在不久的将来对于解决实际问题贡献重要意义。

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

超详细neo4j安装教程

一、neo4j简介 最近开始学习知识图谱,所以首先想先学习一下neo4j的使用。 Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。由于知识图谱中存在大量的关系型信息(实体—关系—实体), 使用结构化数据库进行存储将产生大量的冗余存储信息, 因此将图数据库作为知识图谱的存储容器成为流行的选择。当前较为常用的图数据库主要有 Neo4j 等。 二、neo4j的安装 功能快捷键 撤销:Ctrl/Command + Z 重做:Ctrl/Command + Y 加粗:Ctrl/Co

qq_38335648的博客 9万+

面面俱到,这 23 个公共数据集赶紧Mark起来!

作者 |Nikola M. Zivkovic译者|弯月 责编 | 晋兆雨出品 | 优快云(ID:优快云news)巧妇难为无米之炊,机器学习或深度学习的开发者常常为寻找合适...

优快云资讯 1万+

STM32CubeIDE之SHT3X温湿度传感器移植HAL库

有了前面的OLED的学习,这个学习起来也很快。 分以下几步走 1.你要有个温度传感器,SHT3X这个型号的,因为我要讲这个 2.你要有个STM32开发板(我用的是STM32L431RCT) 3.顺便找台电脑下载一个STM32CubeIDE 4.简单的找一个SHT3X的驱动,我是去某宝嫖的,一般卖这个的都有,这个驱动分两个文件,是.c和.h的,我直接把这两个放在下边 读了我上一篇的人,看这个应该很熟悉吧,一样的套路,学习方法是一样的,你就照搬就行 下面是sht3x.c的原文档,里面有个CRC..

qq_47736089的博客 2316

symbolic regression学习笔记

BIMT 算法是一种优秀的文本分类算法,它通过引入词汇信息增益和无效信息减少技术,提高了文本分类的准确性和可靠性。

m0_72410588的博客 1877

基于Arduino与光电传感器的心率监测系统:从原理到实现的完整指南

光电式心率监测是一种基于光电容积脉搏波描记法(PPG)的非侵入式生命体征测量技术。其核心原理是利用特定波长光线照射皮肤组织,通过检测因血液容积周期性变化导致的反射光强微弱波动,来获取心率信息。这项技术的关键价值在于实现了低成本、便携化的连续生理参数监测,广泛应用于健康管理、运动科学及嵌入式系统教学领域。在工程实践中,信号处理算法(如移动平均滤波与动态阈值峰值检测)对提升测量精度至关重要。本文以Arduino平台为例,详细解析了如何集成MAX30102或Pulse Sensor Amped等光电传感器,结合T

weixin_33461476的博客 248

从零到一:鲲鹏920服务器上的DeepSeek模型部署全流程解析

本文详细解析了在华为鲲鹏920服务器上部署DeepSeek模型的全流程,包括环境准备、模型服务框架部署、性能优化及生产环境方案。通过ARM架构优化和量化技术,显著提升模型推理效率,适用于企业级AI应用场景,助力国产化技术落地。

weixin_29094775的博客 601

人工智能与数学前沿综述:如何借助 AI 发现数学规律?

导语为了探索数学与人工智能深度融合的可能性,集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师,共同发起“人工智能与数学”读书会,希望从 AI for Math,Math for AI 两个方面深入探讨人工智能与数学的密切联系。在人工智能与数学读书会第一期,陈小杨老师探讨了符号回归、强化学习构造反例、AI辅助发现数学规律,以及大语言模型在数学...

人工智能学家 1023

ollama服务暴露公网?三步搞定Nginx反向代理配置(避坑指南)

本文详细介绍了如何通过Nginx反向代理安全地将Ollama服务暴露到公网,避免直接修改OLLAMA_HOST带来的安全隐患。文章提供了从SSL证书部署到高级安全加固的全流程实战指南,包括IP白名单、基础认证、速率限制等企业级安全措施,帮助用户实现安全可靠的外部访问。

wood5的博客 179

每周编辑精选|FewJoint 基准数据集上线、科技部监督司发布 AI 新规

hyper.ai 本周官网更新速览: * 优质公共数据集:10 个‍ 1️⃣ FewJoint 小样本基准数据集 2️⃣ Wikipedia 维基百科数据集 … * AI4S 论文案例:3 篇 1️⃣ 帕金森早期诊断准确率提高至 90.2%,深圳先进院联合中山一院提出 GSP-GCNs 模型 2️⃣ 中科院半导体所论文再登 TNNLS 顶刊,贡献探索数学表达式的新视角 … * 热门百科词条:10 条 1️⃣ 表征学习Representation learning 2️⃣ 长短期记忆 Long Shor

HyperAI超神经 886

如何使用ArcGIS自动矢量化建筑

在显示的重分类对话框内,输入栅格选择提取单波段后的栅格,重分类分为三个层级,旧值分别为100-249、250-251和252-255,对应新值为1、2和3,旧值的最小和最大值不用修改,保持和原有的一致。同样在ArcToolbox内点击Spatial Analyst工具点击“重分类\重分类”,在重分类对话框内输入栅格选择之前重分类过后的图片,将旧值3的新值设置为1,这样分类后就只有两类。在显示的新建Shapefile对话框内,名称命名为折线,要素类型选择折线,点击编辑,设置坐标系为WGS 1984。

2165

以太网PHY寄存器

并且,值得注意的是,由于目前很多百兆的PHY芯片其MAC接口主流的都是SMII/S3MII,8个端口的接口是相互关联的,一个端口设置Isolate可能会影响其他端口的正常使用,因此在使用中注意不要随意更改bit10的状态。Bit10和bit11的区别是,bit11的配置在强制情况下生效,PHY只能工做与bit11指定的工作模式,而bit10的配置在非强制配置情况下生效,仅仅控制PHY在AN时候的优先级,偏向于Maser或者Slave,但是最终的工作模式看协商的结果,不一定和优先级配置的结果一致。

mangofu的博客 293

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 338

使用Seaborn的lmplot函数可视化散点图并添加回归曲线及对应置信区间

使用Seaborn的lmplot函数可视化散点图并添加回归曲线及对应置信区间在Python数据可视化中,Seaborn是一个非常流行的库。它可以让你以一种简单而美观的方式呈现数据。在本篇文章中,我们将介绍如何使用Seaborn的lmplot函数制作散点图,并添加回归曲线及对应的置信区间。首先,我们需要导入Seaborn和Matplotlib库。这里我们假设您已经安装了这些库。如果没有,请使用pip install seaborn和pip install matplotlib在命令行中进行安装。

带你成为别人眼中的大佬! 728

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 614

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 273

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 206

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 340

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 349

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 84

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 157

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 511

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 614

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

405

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 401

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5156
上一篇: 科技部出手!科研人员的 AIGC 使用手册来了,学术界开始防范 AI 枪手
下一篇: 每周编辑精选|FewJoint 基准数据集上线、科技部监督司发布 AI 新规
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值