31、机器学习模型评估、推理与自定义模型训练全解析

机器学习模型评估、推理与自定义模型训练全解析

1. BQML模型评估与推理

1.1 评估模型

在评估训练好的模型时,评估查询可指定的选项如下:
- model_name:被评估模型的名称
- table_name(可选):包含评估数据的表名
- query_statement(可选):用于生成评估数据的查询
- threshold(可选):二元分类模型在评估期间使用的自定义阈值
- perform_aggregation(可选):一个布尔值,用于确定预测准确性的评估级别
- horizon(可选):计算评估指标所依据的预测时间点数
- confidence_level(可选):落在预测区间内的未来值的百分比

ML.Evaluate函数的输出取决于被评估模型的类型,具体如下表所示:
| 模型类型 | 返回字段 |
| — | — |
| 回归模型 | mean_absolute_error、mean_squared_error、mean_squared_log_error、median_absolute_error、r2_score、explained_variance |
| 分类模型 | precision、recall、accuracy、f1_score、log_loss、roc_auc |
| k - means模型 | Davies - Bouldin index、Mean squared distance |
| 隐式反馈矩阵分解模型 | mean_average_precision、mean_squared_error、normaliz

相关推荐

2020机器学习硕士教育范式升级:从调参到全栈ML工程师

机器学习硕士教育已超越传统‘算法+编程’培训,演进为覆盖数学原理、算法实现与系统部署的全栈能力培养。其核心在于统计学习理论、凸优化、分布式训练框架等底层能力的扎实构建,以及MLOps、模型服务化、领域垂直应用等工业级实践的深度嵌入。这一转变源于工业界对ML系统工程师的迫切需求——如TFX流水线、Seldon Core部署、数据漂移监控等技能成为岗位标配,同时学术界在ICML等顶会中强化了生产环境问题的研究比重。典型项目如CMU MLMS、ETH数据科学、UC Berkeley MEng均采用‘理论-实践-系

culiao6493的博客 501

BigQuery ML实战:用SQL实现端到端机器学习建模与部署

机器学习工程化的核心挑战在于模型开发与生产环境的割裂。SQL作为数据工程师与数据科学家共同掌握的通用语言,正成为弥合这一鸿沟的关键抽象层。BigQuery ML将监督学习、时序预测等主流算法原生集成进数据仓库执行引擎,实现特征处理、模型训练、评估、预测及版本管理的全链路SQL化。其技术价值不仅在于降低门槛,更在于通过‘模型即数据库对象’的设计,天然支持权限继承、血缘追踪与确定性推理,显著提升模型可审计性与协作效率。典型应用场景包括用户流失预警、GMV预测、实时分群等结构化特征驱动的业务预测任务——本文深入解

weixin_30239339的博客 343

Synapse ML单接口MLOps:Spark原生大规模机器学习工程实践

Spark DataFrame作为统一计算原语,正重塑大规模机器学习工程范式。其核心在于将数据处理、特征工程、模型训练与推理封装于同一运行时,规避跨系统序列化与状态不一致风险。ONNX Runtime与Spark Adaptive Query Execution深度协同,实现GPU显存级计算密度优化,支撑TB/h级特征流水线与毫秒级实时推理。该架构天然适配金融风控、实时推荐等强一致性、低延迟、高吞吐场景,尤其适合数据工程师与ML工程师协同构建可审计、可复现、可监控的生产级MLOps流水线。本文聚焦Micro

weixin_34337381的博客 418

Synapse ML统一接口:构建可扩展的机器学习流水线

机器学习流水线(ML Pipeline)是实现模型工程化落地的核心范式,其本质是将数据预处理、特征工程、模型训练、评估与部署等环节封装为可复用、可版本化、可跨环境执行的声明式工作流。Synapse ML通过统一Python API抽象,屏蔽底层计算引擎(如Spark、LightGBM、ONNX Runtime)差异,实现单接口定义、多环境运行;其Massively Scalable特性依托Spark DataFrame惰性求值与分布式算法设计,支持从本地调试到EB级数据的平滑扩展。该方案显著降低ML工程师在

dengjuanshou7445的博客 382

AWS re:Invent 2021 AI/ML实战落地五场核心Session深度解析

机器学习工程化(MLOps)是AI从实验走向生产的关键跃迁,其核心在于模型训练、推理优化、架构治理与持续交付的闭环协同。Amazon SageMaker作为主流ML平台,提供了Serverless Inference、Debugger性能分析、Model Registry版本管控等能力,支撑低延迟、低成本、高可观测的推理服务;而AWS ML Well-Architected Lens则将抽象架构原则转化为可量化评估的数据治理、实时性SLA、合规审计等五大维度。本文聚焦re:Invent 2021中真正驱动产

weixin_28224217的博客 344

31个问题诊断企业机器学习战略成熟度

机器学习战略不是技术堆砌,而是组织能力、数据治理与商业价值的系统性融合。从数据可信度、模型可解释性、跨职能协同到因果归因验证,真正决定ML落地成败的是组织在真实业务场景中应对断裂点的响应机制。本文聚焦‘ML战略诊断’这一核心概念,深入剖析如何通过可量化、可审计、可执行的问题清单,识别数据漂移误判、决策权责脱钩、归因逻辑缺失等高频痛点,支撑金融、零售、制造等行业构建韧性MLOps体系与反脆弱学习机制。

soyo的专栏 647

Azure ML Studio企业级机器学习流水线实战指南

机器学习流水线是将数据、模型与服务系统化集成的核心工程范式。其本质在于通过分层抽象(数据计算、工作流编排、服务治理)实现可复现、可监控、可协作的AI交付。Azure ML Studio以可视化画布为入口,融合模块化组件与代码扩展能力,解决模型上线难、环境不一致、协作低效等高频痛点,特别适用于需快速验证AI价值又缺乏全栈ML工程能力的业务团队。本文聚焦‘80%流程可视化+20%关键节点代码化’的混合实践模式,覆盖从数据接入、特征工程、模型训练到部署监控的完整闭环,并深入解析GDPR合规、多粒度时间序列处理、推

weixin_30570101的博客 542

机器学习模型上线后的72小时:生产环境ML系统工程实践

机器学习模型部署不是开发终点,而是工程挑战的真正起点。在真实生产环境中,模型需面对特征漂移、系统语义断裂、部分失败、流量突增等复杂问题,其稳定性与可维护性远比离线指标重要。本文围绕模型服务的输入/输出/故障契约设计、延迟敏感型性能优化、灰度验证与熔断降级机制、业务语义层监控(如决策一致性、人工覆盖率)、数据漂移归因分析及合规可审计验证等核心维度展开,融合金融风控等高要求场景实战经验,系统阐述如何构建具备韧性、可观测性与业务可信度的ML生产系统。

afhu47033的博客 435

机器学习工程落地三支柱:数据采集、模型训练与部署闭环

机器学习不是算法竞赛,而是端到端的工程实践。从数据作为认知源头的本质出发,理解数据采集决定模型能力边界;再深入模型训练环节,需将业务约束(如延迟≤150ms、误唤醒率≤0.8次/天)转化为可量化训练目标;进而认识到模型部署实为环境重适配过程,涉及硬件兼容、接口契约、资源监控与故障熔断。其技术价值在于构建带反馈的数据飞轮——线上运行数据反哺采集优化,驱动模型持续进化。典型应用场景覆盖语音唤醒、工业缺陷检测与医疗影像辅助判读等强实时、高可靠性要求的AI落地领域。本文聚焦真实项目中高频卡点,围绕数据采集和模型部署

chuange6363的博客 330

CRISP-ML(Q):面向工业落地的机器学习工程化方法论

机器学习项目失败常源于建模与业务脱节、数据与部署断层、效果与质量失衡。CRISP-ML(Q)并非CRISP-DM的简单升级,而是以‘交付可靠性’为核心、嵌入质量门禁(Quality Gate)的六阶段工程化框架,将模糊的‘模型好’转化为可追溯、可复现、可证伪的质量证据链。它强调业务问题结构化、数据漂移实时监控、模型部署兼容性验证及三层监控体系,直击预测性维护、风控、推荐等工业场景中‘训得好、上不去、稳不住’的顽疾。本文结合金融、物流、电商等真实项目经验,详解如何用该方法论系统降低AI项目交付风险。

451

宽带波束形成

介绍了宽带波束形成器的时域滤波结构,以及波束响应的计算公式,宽带波束形成器的波束响应可表示为权重向量和方向向量的积

... 2490

步进电机

步进电机

happygrilclh的博客 2140

MCAL配置之CAN模块及源码分析

该文章详细解析了Autosar中MCAL配置里的CAN模块,详细分析了重要的配置选项,并对CAN的发送和接收函数进行了剖析。

u013624141的博客 1416

14、Java 中 TAF 和 FCF 的使用及 Oracle 数据库升级与迁移指南

本文详细介绍了Java中实现高可用性的TAF(透明应用故障转移)和FCF(快速连接故障转移)技术,以及如何将Oracle 9iR2 RAC环境升级到10gR2 RAC,并将数据从OCFS迁移到ASM。通过示例代码和操作步骤,帮助开发者和数据库管理员更好地应对数据库故障和数据迁移问题,提升系统的可用性和性能。

egg99的博客 108

LeRobot 入门教程(四)SO-101机械臂组装教程

《SO-101机器人组装与配置指南》详细介绍了旗舰机器人SO-101的完整搭建流程。从获取3D打印零件、安装LeRobot软件和FeetechSDK,到分步组装6个关节的机械臂结构(含夹爪/手柄选项),指南提供了清晰的螺丝规格和安装位置说明。重点包括:电机ID/波特率设置方法、USB端口识别技巧、领导者/跟随者臂的校准流程,以及故障排查建议。完成组装后,用户可通过配套Python脚本校准机器人,为后续的自主学习任务做好准备。文档附有视频演示和技术支持通道,确保用户顺利完成机器人部署。

2506_90492529的博客 2581

麒麟V10安装图形化界面

在配置VNC时发现,原本麒麟V10系统最小化安装,导致无图形化界面,先需要对其进行安装。 首先确保无图形化界面,可以在终端输入startX命令查看是否报错。 安装介绍: 1、 安装图形化界面 yum grouplist //查看可用yum安装组 注:这里一般会有缺少包或者出现包不符合的问题 导入软件包分组信息文件xxxx-comps.xml arm: 将此文件传送到源服务器, 然后createrepo -g导入到arm的base目录和updates目录 createrepo -g e33dc

Pro_jhf的博客 8071

PyQt5自动化测试,让测试更加便利

PyQt5是一个Python的GUI编程工具包,帮助开发者可以更加简单、快捷地创建图形界面和处理用户输入。在PyQt5中有两种常见的测试方式:手动测试和自动化测试。手动测试需要通过点击、输入等交互操作进行测试,自动化测试则是通过程序模拟鼠标、键盘等操作进行测试。这段代码创建了一个简单的窗口,其中包含一个按钮。这段代码打开一个本地HTML文件,点击页面上的按钮并检查输出是否为“Button clicked”。以上就是在PyQt5中进行自动化测试的简单示例。使用PyQt5可以大大简化测试过程,提高测试效率。

PixelCoder的博客 710

【1】Python交叉编译到OpenHarmony标准系统运行(arm32位)

本文介绍如何Python语言如何在OpenHarmony标准系统运行,包括5.0r和4.1r以及4.0r,和未来版本的OpenHarmony版本上。 Python语言在OpenHarmony上使用,需要将Python解释器CPython移植到OpenHarmony标准系统。通过交叉编译的方式。

weixin_58069108的博客 927

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 6、利用词嵌入建立单词关系及在情感分类任务中的应用
下一篇: 7、经典力学中的泊松括号、德拉诺元素与诺特定理
lambda
博客等级 码龄23年 49粉丝 1303原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值