【数据中台战略】可配置化数学建模的应用案例图解

你的公司会选择开发数据中台吗? 数据中台开发与搭建 阅读详情

【数据中台战略】可配置化数学建模的应用案例图解

 关键词:维度模型、事件体系、数据中台、数据平台、数学建模、数学模型、条件系统、公式系统、数据维度、数据度量、中科院分词系统、核子秤、卡尔曼滤波导航、加速度计、陀螺仪、方法论、维度空间

目录

前言

数据中台

维度空间

维度空间模型

应用展望

一个数据中台代码库(golang)

相关名词及资料:


前言

我的第一份工作是做“核子秤” [1]自控系统的(Y射线辐射应用),那是数学在生产活动应用的首次体验。

图1 核子秤自控系统

接着在某单位做机车(火车头)在途信息实时系统(下称机车系统)的科研课题,我们用卡尔曼[2]滤波和导航算法对在山区行驶失去GPS信号的机车轨迹做了推算。在无数的公路汽车模拟和铁路火车跟车实验工作当中,对数学建模和可配置化做了深入的学习和应用。

 图2 卡尔曼滤波和导航1——数据分析

图3 卡尔曼滤波和导航2——GPS轨迹推导

后来在某国企工作中将中科院ICTCLAS[3]分词系统由C翻译成其他语言版本(数学家的代码的理论和逻辑以“天书”著称)。再后来在创业公司从事用雷达对人的呼吸和心跳做健康预测的研发工作之后,倍感数学的无穷魅力于是用golang来翻译以前的数学模型代码库。

无论再深奥的数学理论,数学建模最终产物必须是程序能理解和执行的数学公式和流程步骤。

我们在数学建模的生产活动中,数学模型经常需要修改和调参,甚至推到重新建模,面对修改和重写代码的成本代价,痛点是:如何将数学建模活动独立在代码之外。

本文将以前述的机车系统经验为基础并加以提炼,阐述可配置化数学建模。

注:本文部分词汇定义仅在本文有效。

数据中台

在这里特别说一下模块化: 

   图4

阿里云徒科技出版的《中台实践:数字化转型方法论与解决方案》[4]一书中的几个关键词:数字化、方法论、事件风暴、需求结构化、能力可配置和数据中台。

模块化软件系统中的数据中台可以让独立模块通过其获得元系统[5]及子模块中任何主体对象的任何行为、事件及数据等信息(需高度数字信息化)。借用本人模块化思想图解[6]帖子的两幅图说明一下本文可配置化所依赖的数据平台的功能:

  图5 模块化数据交换平台

图6 模块化数据交换方式

维度空间

这里讲的维度空间不是物理科学层面的。说到数学建模就要提到数据维度,本文维度空间的定义是数据维度所存在的事件节点、时间节点和物理节点等的集合。而维度空间的任何一个节点是多个数据维度的子集。健全的维度空间需对一个软件系统进行全面分析和规划。以机车系统为例的数据维度空间如图:

图7 机车系统维度空间

维度空间模型

在上述维度空间的节点中,如果我们一定要在代码中处理数学模型的具体维度数据的话,就会大大降低了可配置化率(如图8所示)。如果程序只提供基础数据,数据的提炼、加工和运算的逻辑设定放在配置层,那么数据维度可扩充空间就越广,亦即可配置化率就更高(如图9所示,公式描述是为了直观明白,不必较真):

  图8 机车失去GPS信号后的坐标推算——常规配置调参

  图9  机车失去GPS信号后的坐标推算——可配置化建模

根据图7的维度空间我们建立了可配置化的维度空间模型,每个维度空间节点对应执行可运算的配置项(由数据中台支持配置项的数据操作):

图10

以修正陀螺仪误差的配置为例(机车转弯的三个节点,可以说是数据模型的子模型):

    图11 机车转弯前执行的配置运算

  图12 机车转弯中执行的配置运算

图13机车转弯后执行的配置运算——获得平均误差

如以上图11~13所示,我们在配置表中实现了 陀螺仪误差值的自学习计算,亦即实现了可配置化的数学模型。 实际应用中各个维度空间节点可以配置更多更复杂的维度数据(相互依赖关系)。

应用展望

数据中台:数据中台思想不局限于以人为主题的客户数据系统中,还可以应用于以程序模块为主体的模块化系统中,同样也不局限于本文的案例系统。

维度空间模型:实际的应用中,一个主数学模型需要依赖很多个子数学模型来完成,也就是实战应用中复杂度非常高,需要具备全局的思考和规划能力才能设计出健全的空间模型。

方法论:一切都是方法论,很多方法的适用性是不受应用场景限制的。

一个数据中台代码库(golang)

Data Middle Platform Of The Module(DMP),用于独立模块间数据共享的数据中台。集成:名字系统、数据仓库、条件系统、公式系统、运算集合、流程步骤控制系统、监听系统(数据变化监听和条件监听)、自定义函数系统、Go数学函数库、数据工作站。

 图14 DMP库功能

  

 图15 流程控制表达式解析

  图16 解析后的流程表达式

 图17 条件表达式解析及条件监听

  图18 执行运算集合和步骤流程

 图19 流程表达式执行结果(可输出步骤详细信息)

相关名词及资料:

[1]核子秤名词解释

核子秤_百度百科 

[2]卡尔曼惯性导航和滤波

卡尔曼滤波_随风张幔的博客-优快云博客_卡尔曼滤波

用“卡尔曼滤波器”来处理“加速度计数据”(加速度,陀螺仪调试)

[3]中科院ICTCLAS分词系统

ICTCLAS_百度百科 

[4]数据中台

中台实践:数字化转型方法论与解决方案

[5]模块化名称:元系统

自由软件开发的模块化理论解释与启示 

[6]本人的模块化思想图解

插件式模块化软件框架的思想图解三(数据交换系统和条件系统)

数学建模在大数据与数据挖掘、复杂网络与系统建模方面的应用 数学建模在大数据与数据挖掘、复杂网络与系统建模方面的应用越来越广泛。本文将分别介绍这两个方面的数学建模方法,并且以一个基于酒店评论数据的情感分析和一个社交网络分析的案例来演示如何使用数学建模进行大数据分析和复杂网络建模。一、大数据与数据挖掘随着互联网和物联网技术的发展,数据的规模和复杂程度越来越大。大数据和数据挖掘成为了处理和分析这些海量数据的重要方法。在数学建模中,大数据和数据挖掘可以用来预测未来的趋势和结果、挖掘数据背后的规律、进行分类和聚类分析等。 阅读详情

相关推荐

数据中台之数据建模工程实操

数据中台之数据建模工程实操

数据与算法架构提升之路专栏 1134

数据建模那点事儿

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34258782的博客 1724

数仓建模—数据中台概论

数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享。如今似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。要回答数据中台是什么,首先要探讨一下中台到底是什么。中台,通过对业务、数据和技术的抽象,对服务能力进行复用,构建了企业级的服务能力,消除了企业内部各业务部门、各分子公司之间的壁垒,适应了企业特别是大型企业集团业务多元化的发展战略。基于中台,可快速构建面向最终消费者和客户的前台应用,从而满足各种个性化特征的前台需求,为企业的数字化转型提供明确的道路。

4万+

golang搭建公链NFT数据中台1-架构设计

​ 在做海外NFT相关的业务中,我们难免需要使用到各类NFT相关的数据提供给我们自己系统的用户使用,但是区块链节点API并不提供结构化查询接口,已知的第三方,例如Alchemy、nftscan、chainbase等第三方链上API又存在速率和使用场景的限制,无法满足后台业务逻辑的使用。因此,搭建一套切合内部系统使用的NFT数据中台变得尤为重要。同时,还能为各类系统提供定制化的NFT充值入账等业务场景。

蜡笔宿敌丶的博客 1266

游戏服务端配置“热更”终极方案(golang/ygluu/卢益贵)

游戏服务端配置“热更”终极方案(golang/ygluu/卢益贵) 众所周知,游戏服务端配置信息热更有几大问题: 1、因配置对象的指针被场景对象引用而导致热更复杂度提高 2、信息量大的配置表热更导致游戏卡顿、玩家闪断 3、一般重载后的配置信息仅影响重载后新创建的对应场景对象,不能影响已存在的场景对象 4、在高度解耦的模块化开发模式下导致热更复杂度提高 本示例代码将使用通用方法来演示在“高度解耦、模块化、模板化”的开发模式下对上述问题的解决方案。

当传统CFD遇上AI:PINN如何帮我们省下90%的仿真计算时间?

本文探讨了物理信息神经网络(PINN)在计算流体力学(CFD)中的应用,如何通过无网格方法节省90%的仿真计算时间。PINN将物理定律编码到神经网络中,显著减少传统CFD中的网格生成和计算时间,同时保持高精度。文章还对比了PINN与传统方法的性能,并讨论了其独特优势和当前局限。

weixin_32678995的博客 319

从数据仓库到大数据平台再到数据中台

现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台;平台层面的有物联网,云计算,大数据,5G,人工智能,机器...

杨建荣的学习笔记 1283

ENSP Pro VXLAN EVPN分布式网关部署配置

在BGP EVPN方式部署分布式网关的场景中,控制平面的流程包括VXLAN隧道建立、MAC地址动态学习;转发平面的流程包括同子网已知单播报文转发、同子网BUM报文转发、跨子网报文转发。该方式实现的功能全面,支持主机IP路由通告、主机MAC地址通告、主机ARP通告,可以直接使能ARP广播抑制功能。如果在VXLAN网络中采用分布式网关,推荐使用此方式。对比集中式网关,分布式网关的arp条目比集中式网关的arp条目少,分布式网关只学习租户侧的arp条目,不学习网络侧的arp条目。

qq2353177176的博客 4558

深入解析「数据中台」,附9张实战案例带你快速入门!

随着互联网的高速发展,数据应用的需求变多,为快速响应业务需求,许多企业开始存在不同程度的烟囱式的开发模式,这种烟囱式的开发导致企业不同业务线的数据割裂,造成了数据的重复加工、研发效率、数据存储和计算资源的严重浪费,大数据的应用成本越来越高,同时带来指标口径不一致等问题,数据中台应运而生。“数据中台”的口号由阿里巴巴提出,它的核心是:避免数据的重复加工,通过数据服务化,提高数据的整合和共享能力,赋能数据应用,为企业经营决策、精细化运营提供支持。点击查看模板高清原图。点击查看模板高清原图。

m0_69512897的博客 5597

PCIE6.0协议学习小记-Flit_Mode

PCIE6.0学习

code_aJack的博客 4631

通达信短周期指标盘中实时监控与预警选股实战

本文详细介绍了通达信短周期指标在盘中实时监控与预警选股中的实战应用。通过分时指标改造、多股同列监控技巧及预警策略优化,帮助短线交易者捕捉转瞬即逝的交易机会,提升选股效率与准确性。重点解析了如何避免假信号干扰及系统卡顿问题,并探讨了从预警到自动交易的进阶应用。

weixin_29230805的博客 887

数据中台下的可配置化建模:从理论到商品销量预测实践

数学建模是数据驱动决策的核心,其传统实现方式往往面临流程冗长、门槛高、难以复用的挑战。其基本原理在于将业务问题转化为数学模型,通过算法从数据中学习规律以进行预测或分类。这项技术的核心价值在于将数据价值规模化、产品化,从而高效赋能业务。在实际应用场景中,尤其在数据中台架构下,可配置化建模作为一种关键的工程化实践应运而生。它通过将数据接入、特征工程、算法选择等通用环节抽象为标准化组件,并借助可视化流程编排,显著降低了建模门槛。本文聚焦于可配置化建模这一主题,并结合商品销量预测这一典型场景,深入剖析其如何将业务人

weixin_30357231的博客 353

STM32F103C8T6实战:手把手教你搭建智能火灾报警系统(附MQ-2传感器调试技巧)

本文详细介绍了基于STM32F103C8T6单片机和MQ-2烟雾传感器的智能火灾报警系统搭建过程。从硬件选型、电路设计到软件开发,提供全面的实战指导,特别包含MQ-2传感器调试技巧,帮助开发者快速实现稳定可靠的智能火灾监控系统。

year5的博客 213

数据中台配置中心详解 一般有用 看1

第 1 章 配置中心入门 1.课程概述 本课程是讲解配置中心的设计和开发实现。配置中心作为微服务架构中,配置存储的核心构件,在微服 务项目设计中起着至关重要的作用。它统一管理着各业务微服务的具体配置信息。同时,让配置更新有 了更清晰的访问API。那么它是如何实现的呢,在市面上活跃的配置中心用了哪些技术,我们在设计时又 应该考虑哪些细节呢? 在接下来的课程中,我们将逐一解答。 1.1 课程安排 本...

okbin1991的博客 3509

企业级 Token 中转架构设计:高并发、多模型、费用监控一次搞定

摘要:本文针对企业级AI开发中的多模型接口混乱、高并发稳定性差及Token费用失控等痛点,提出一套2026年企业级Token中转架构解决方案。该方案采用五层分层设计(接入层、网关层、调度层、服务层、存储层),实现多模型统一接口、智能路由、高并发限流容错及精细化成本监控。核心功能包括:异构模型标准化接入、动态路由策略(场景/成本/负载/容灾)、多级限流熔断机制、全链路Token计费与安全防封体系(指纹清洗、IP池隔离)。通过分层解耦与模块化设计,企业可降低50%成本、提升99%稳定性,并避免封号风险。文章还提

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 143

java零基础从入门到精通(全)

目录前言1. 入门知识1.1 java体系1.2 JDK/JRE/JVM区别1.3 编译与运行理解1.4 类体函数细节2. 标识符 前言 java优势 健壮性(JVM(C++语言写的一个虚拟的计算机)、GC(垃圾回收机制)) 多线程并发 可移植性/跨平台 1. 入门知识 1.1 java体系 JavaSE:标准版 JavaEE:企业版 JavaME:微型版 1.2 JDK/JRE/JVM区别 JVM是不能独立安装的。 JRE和JDK都是可以独立安装的 层层嵌套,jvm包括jdk,jdk包括jre

码农研究僧的博客 6万+

普罗米修斯数据中台

数据中台

qq_34589842的博客 446

车载诊断架构 --- 车载ECU开发中DTC数量与芯片存储能力的关系及应对策略

本文探讨了汽车电子系统中ECU存储DTC故障码的容量问题及解决方案。作者作为汽车电子工程师,针对台架测试中遇到的DTC存储超限案例展开分析,指出随着汽车智能化发展,ECU需处理的DTC数量激增与芯片存储能力有限的矛盾。文章详细介绍了DTC的存储需求、ECU支持数量与芯片容量的关系,并提出应对策略,通过实际案例验证了方案的可行性。最后强调在ECU开发中需合理分配存储资源,确保关键故障信息不丢失。

Soly_kun的博客 87

业务中台构建策略:划分子域、上下文、事件风暴、需求结构化和能力可配置...

3.3 业务中台构建策略上一节介绍了业务中台的核心架构与体系。那么围绕核心架构和体系,业务中台应该按照怎样的方式进行构建?接下来,本节会详细介绍构建业务中台的具体策略:领域驱动、需求结构...

u013527895的博客 1658

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

中台之建模篇

反过来讲,数据建模的时候也要重新回溯到业务,去识别业务概念里面的这些关键的概念,再从业务概念抽象为业务对象,然后再把业务对象的属性归类为新的逻辑实体,最后将逻辑实体通过一定的规则分解为物理表。有了组件的识别,还要对组件进行关系的重构,在重构的过程中既要考虑仿真,也就是还原事物的特征,还要去考虑要表达的目的或意图是什么,也就是关注点是什么,比如关注的是业务过程,就会采用功能分解模型。实体关系图按照业务对象进行划分,将数据的属性按照实体进行聚类,并描述实体间的关系,从而指导后续的程序设计以及数据库的设计。

ylguoguo6666的博客 1554

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

数学建模 —— 规划模型

规划模型

qq_52928524的博客 6396

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

4.中台领域建模

参与者领域专家,事件风暴的其他参与者可以是DDD专家、架构师、产品经理、项目经理、开发人员和测试人员等项目团队成员;准备的材料事件风暴的场地事件风暴的关注点某些业务动作或行为(事件)是否会触发下一个业务动作,这个动作(领域事件)的输人和输出是什么?是谁(实体)发出的什么动作(命令),触发了这个动作(事件)等;微服务设计和开发时,要时时刻刻想着微服务的架构演进,与生俱来就需要考虑聚合的解辗利未来聚合的重组,做到未雨绸缨;

zhouping118的博客 355

插件式模块化软件框架的思想图解一(框架篇)

插件化(模块化)软件框架思想的总结图解(码客/卢益贵) 关键字:插件化 模块化 软件框架 C++ Golang Rust Delphi 一、前述 关于模块化的好处在此省略1000字,网络资源很多不再赘述。从本人20多年多个行业众多项目经历来说,无论是一个人、两个人开发,还是多人协同开发,模块化在实际应用中有非常高的实效性。本文讨论的是源代码插件化框架思想,而非二进制Dll之类的插件化。如果没有特别说明,本文提及的插件和模块是同一个实体概念。 二、模块化原则 1、高度独立 要达到高度独立必须实行高

码客 卢益贵 ygluu 1万+

数据中台-数据建模

这里是目录一、数据建模1.何为onedata建模2.如何进行onedata建模3.建模中涉及到的如何进行统一指标拆解二、建模的两点思考 一、数据建模 提在开头:数据建模是整个数据中台的核心,涉及到很多行业最佳实践研究和落地,也涉及到很多方法论的落地,建模的好坏直接影响最终中台的数据质量和效率,也许我不是这一块的专家,但我会尽量将我的个人经验和想法一一写出供大家讨论 1.何为onedata建模 阿里云 OneData 数据中台解决方案基于大数据存储和计算平台为载体,以 OneModel 统一数据构建及管理方

K的博客 4166

数据中台:数据模型设计

如果把指标⽐喻成⼀棵树上的果实,那模型就是这棵⼤树的躯⼲,想让果实结得好,必须让树⼲变得粗壮。真实场景举例:⼤多数公司的分析师会结合业务做⼀些数据分析(需要⽤到⼤量的数据),通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前,分析师经常发现⾃⼰没有可以复⽤的数据,不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝,写的SQL质量⽐较差,甚⾄⻅过5层以上的嵌套。这种SQ...

huzechen的博客 1840

阿里数据中台建模

阿里中台的概念,可以说是近些年来的颇为火爆的概念。从十余年前的阿里在内部完成这一过程,并提出了“中台”概念;到后面中台概念逐步被外部接受并在2019年爆火兴起。数据中台爆火背后,既有传统企业转型焦虑的市场东风,又有阿里中台战略示范效应的推波助澜。下图为阿里中台架构(图片来自网络),其内置“大中台、小前台”的战略,其中包含了业务中台和数据中台的双中台配置。 从本质上来说,中台概念更多是一种方法论。它来告诉用户如何构建数据化服务体系,包括从数据集成、数据建模、数据开发、数据共享到数据质量、...

程序员学习圈 2939
上一篇: 插件式模块化软件框架的思想图解三(数据交换系统和条件系统)
下一篇: 软件开发团队的管理要素
ygluu
博客等级 码龄17年 300粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值