混合合成先验增强表格基础模型Mitra

最新推荐文章于 2025-12-16 15:16:39 发布
原创 最新推荐文章于 2025-12-16 15:16:39 发布 · 282 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #表格数据 #基础模型 #程序那些事 #AIGC #计算机视觉 #人工智能

部署运行你感兴趣的模型镜像

表格数据支撑着医疗、金融、电子商务和科学等领域的核心决策。传统机器学习方法（如随机森林和XGBoost）通常需要为每个数据集单独训练模型，跨分布迁移能力有限。受大语言模型启发，表格基础模型(TFMs)可通过上下文学习(ICL)实现单模型多任务泛化。

作为某机构自动机器学习框架AutoGluon的最新组件，Mitra采用基于ICL的范式进行训练。该模型完全在合成数据上预训练，这些数据由精心设计的先验分布混合生成，包括结构因果模型（描述变量间因果关系的图结构与概率方程）以及梯度提升树、随机森林等树模型。这种设计解决了真实表格数据有限且异构的挑战。

Mitra框架核心特点：

  1. 采用二维注意力机制，同时处理行和列的特征交互
  2. 预训练阶段通过数百万合成任务学习推理模式
  3. 推理时仅需少量支持集示例即可预测查询集标签

在TabRepo、TabZilla等主流基准测试中，Mitra在分类和回归任务上均超越TabPFNv2等现有TFMs，其决策边界相比基线模型更规则且连续。可视化实验显示，在二维正弦棋盘数据上，Mitra的决策碎片化程度显著低于对比模型。

该模型已作为AutoGluon 1.4版本组件开源，支持研究者扩展先验空间和自适应混合策略。评估表明，有效的合成先验需满足：(1) 实际任务性能优异 (2) 分布多样性防止过拟合 (3) 包含独特数据模式。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

您可能感兴趣的与本文相关的镜像

Facefusion

Facefusion

AI应用

FaceFusion是全新一代AI换脸工具，无需安装，一键运行，可以完成去遮挡，高清化，卡通脸一键替换，并且Nvidia/AMD等显卡全平台支持

codeshare1135
关注
混合先验增强表格基础模型技术
codeshare1135的博客
09-10 1038
Mitra框架在混合合成数据先验（包括结构因果模型和基于树的模型）上预训练表格基础模型（TFMs）。每个数据集分为支持集和查询集。Mitra支持跨行和列的二维注意力以及一维行向注意力。在推理时，模型以真实数据集的支持示例为条件，使用上下文学习（ICL）预测查询标签，无需梯度更新。在选定的先验混合上预训练Mitra。每个合成任务包含支持集和查询集。模型通过学习关注支持集来预测查询集的标签；不需要梯度更新。经过数百万个此类任务，Mitra学会了可推广的推理和适应模式。
混合先验增强表格基础模型技术解析
codeshare1135的博客
11-21 1006
我们在合成数据先验的混合上预训练表格基础模型，包括结构因果模型和基于树的模型。每个数据集被划分为支持集和查询集。Mitra支持跨行和列的二维注意力以及一维行间注意力。在推理时，模型通过上下文学习调节真实数据集的支持示例来预测查询标签，无需梯度更新。我们在选定的先验混合上预训练Mitra。每个合成任务包含一个支持集和一个查询集。模型通过学习关注支持集来预测查询集的标签；不需要梯度更新。经过数百万个这样的任务，Mitra学会了可泛化的推理和适应模式。
基于RGB-D图像的语义场景补全研究进展综述
3D视觉工坊
11-18 2863
作者丨张康，安泊舟，李捷，袁夏，赵春霞（软件学报）来源丨https://zhuanlan.zhihu.com/p/432968137（一点人工一点智能）编辑丨3D视觉工坊近年来随着计算机视...
突破数据壁垒 - 通过任务泛化构建GUI代理
栖客
04-20 1315
图形用户界面（GUI）代理为跨平台自动化复杂数字任务提供了解决方案，具有显著的潜力来改变生产力工作流程。然而，其性能通常受到高质量轨迹数据稀缺性的限制。为了解决这一局限性，我们提出在专用的中程训练阶段对视觉语言模型（VLMs）进行数据丰富、推理密集型任务的训练，然后研究将这些任务纳入中程训练阶段如何促进对GUI规划场景的泛化。具体来说，我们探索了一系列具有现成指令调整数据的任务，包括GUI感知、多模态推理和文本推理。
【AI视野·今日CV 计算机视觉论文速览 第272期】Fri, 20 Oct 2023
TomRen
10-24 1193
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 20 Oct 2023 Totally 62 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Putting the Object Back into Video Object Segmentation Authors Ho Kei Cheng, Seoung Wug Oh, Brian Price, Joon Young Lee, Alexander Schwing我们提出了 Cu
【AI视野·今日CV 计算机视觉论文速览 第219期】Tue, 15 Jun 2021
TomRen
06-18 2288
AI视野·今日CS.CV 计算机视觉论文速览 Tue, 15 Jun 2021 (showing first 100 of 128 entries) Totally 100 papers ????上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Improved Transformer for High-Resolution GANs Authors Long Zhao, Zizhao Zhang, Ting Chen, Dimitris N. Metaxa
【AI视野·今日CV 计算机视觉论文速览 第169期】Fri, 22 Nov 2019
TomRen
11-25 2063
AI视野·今日CS.CV 计算机视觉论文速览 ---三维重建 ---2D3D描述子 ---边缘点文本检测 ---图像去雾
【AI视野·今日CV 计算机视觉论文速览 第181期】Tue, 7 Apr 2020
TomRen
04-09 6913
AI视野·今日CS.CV 计算机视觉论文速览 ---点云---数据集---三维处理---深度估计
基于3D关节点的人体动作识别综述（转）
qq_38522972的博客
11-05 7692
原文：2016，Pattern Recognition： 3D skeleton-based human action classification: A survey 摘要 近年来，基于深度序列的人体动作分类的研究越来越多，出现了基于不同数据源：深度图或RGB视频的3D人体关节的人体动作分类的方法以及特征表示方法。 本文着眼于人体动作识别领域的进展及挑战，总结了基于3D骨架的动作分类的...
肝硬化患者肝功能分级临床预测模型：基于机器学习的多变量分析
huanghm88的专栏
12-11 206
摘要 本研究基于128例肝硬化患者的34项临床指标，采用机器学习方法构建肝功能分级预测模型。通过XGBoost、随机森林等多种算法比较，发现XGBoost模型表现最优，预测准确率达86.5%，AUC值0.89。研究确定了总胆红素、白蛋白等10个关键预测因子，为临床肝功能评估提供了新的辅助工具。该模型整合了多维临床数据，较传统Child-Pugh评分更具综合性，有助于优化肝硬化患者的个体化诊疗决策。未来需扩大样本量进行多中心验证，进一步完善模型性能。 关键词：肝硬化；肝功能分级；机器学习；预测模型；XGBoo
机器学习高阶教程＜3＞统计学习理论进阶
最新发布
2303_77568009的博客
12-16 590
你是否经历过模型在训练集上表现完美，在测试集上却一塌糊涂？这背后是训练误差与泛化误差的鸿沟。本文带你深入统计学习理论的核心，用生活化类比拆解VC维、Rademacher复杂性等“烧脑”概念，揭示它们如何共同编织泛化误差边界这张“安全网”。通过直观的可视化代码，你将看到直线分类器为何只能“打散”3个点而非4个点，以及不同模型在噪声标签下的不同表现。最后，这些理论将落地为三个实战解决方案，帮你从“凭经验调参”升级为“靠理论导航”的理性设计者。
机器学习基础（线性，逻辑回归）
lyx2870657588的博客
12-11 1495
本文介绍了两种常用的回归分析方法及其应用。线性回归部分详细讲解了模型参数、API使用方法和评估指标，通过广告投入与销售额的案例展示了模型建立、训练和预测的全过程。逻辑回归部分重点阐述了其在分类任务中的应用，包括数据预处理、模型训练和性能评估方法，以信用卡欺诈检测为例演示了分类模型的实现步骤。文章还系统介绍了混淆矩阵、精确率、召回率和F1值等模型评价指标的计算方法和适用场景，为机器学习实践提供了完整的技术参考框架。
Day37 深入理解SHAP图
weixin_47193046的博客
12-15 554
年龄+0.02影响很小，把模型的决策分解到每个特征上。基准值 = 没有任何特征信息时的"默认"预测(相当于"0”的起点)，这个值一般就是平均值，把训练集的所有样本都输入模型，得到所有预测值取平均值，在没有关于这个特定样本的区分性信息时，最合理的猜测就是平均值。到这里你可能心想，这样是不是很类似于线性回归的特征前的系数 y=ax1+bx2+cx3，那既然如此，我直接选择用线性回归的系数作解释，那岂不是更好?三人合伙前，收入是 0，三人合伙后，收入是 100万，要分配的"蛋糕"就是 100万-0=100 万。
机器学习进阶＜10＞分类器集成：集成学习算法
2303_77568009的博客
12-12 781
这篇博客是一篇关于分类器集成技术的全面实战指南，涵盖了从理论基础到代码实践的完整知识体系。文章以"三个臭皮匠顶个诸葛亮"的智慧为核心隐喻，系统阐述了如何通过组合多个弱分类器来构建强大的集成模型，从而突破单分类器的性能瓶颈。
Conan-embedding整理
kexin197的博客
12-11 931
本文提出了一种改进的文本嵌入模型Conan-embedding，其核心创新在于动态难负样本挖掘和跨GPU平衡损失。该方法在训练过程中实时挖掘难负样本，使模型能动态适应复杂数据分布；采用多阶段训练策略，包括预训练阶段的通识学习和微调阶段的专项训练；通过跨GPU平衡损失解决训练振荡问题，提升模型稳定性。实验表明，该方法能有效提升文本嵌入质量，尤其在检索任务中表现突出。研究还探讨了不同任务（检索与STS）在训练策略上的差异，为后续研究提供了重要参考。
机器学习进阶＜9＞基于 PCA 的图像压缩与还原
2303_77568009的博客
12-11 1138
这篇博客系统性地探索了主成分分析(PCA)在图像处理中的进阶应用。从基础的图像压缩演示入手，直观对比了保留90%与50%信息时的视觉差异与压缩率；进而深入至多主成分重构误差分析与“肘点”选择，为参数优化提供科学方法。核心创新在于将PCA拓展至异常检测领域：利用核PCA(Kernel PCA)处理非线性数据，实现图像局部异常定位；并横向对比PCA、Isolation Forest、One-Class SVM等多种算法的检测性能。
线性回归+实例
2203_75341967的博客
12-11 1409
模型公式：y=wx+b+ϵy：因变量（待预测的连续值，如糖尿病病情指数）；x：自变量（单一特征，如血糖值）；w：回归系数（斜率），表示x每变化 1 单位，y的平均变化量；b：截距，x=0时y的预测值；ϵ：随机误差（残差），表示模型无法解释的随机波动，服从均值为 0 的正态分布。优势：原理简单、解释性强、计算成本低，是理解回归分析的基础；关键：使用前需验证线性假设、处理异常值 / 多重共线性，使用中需通过正则化避免过拟合，使用后需用R2、RMSE 等指标评估效果；
机器学习——交叉熵损失函数
天上的光博客
12-11 165
假设预测概率特别低（比如 0.01），那么根据log函数的特性，可以知道，越接近0其损失值会越大。越接近1损失越小。
机器学习进阶＜6＞神奇的披萨店与学区房：走进RBFN的直觉世界
2303_77568009的博客
12-10 1263
这段Python代码使用matplotlib和numpy库生成了一张披萨店顾客口味偏好可视化分布图，主要用于教学演示RBFN（径向基函数网络）算法的引入部分。学区房现象RBFN组件功能类比学校位置中心点数据空间中的"热点"位置房价分布径向基函数输出基于距离的影响力值距离学校远近欧氏距离计算输入点到中心点的距离学校规模大小宽度参数σ影响范围的大小多个学校影响叠加多个RBF单元输出隐层多个神经元的激活值最终房价决定输出层加权和总部汇总各分店意见。
Mitra DSP课程MATLAB作业指南
标题“MATLAB3.rar_mitra dsp”和描述“DSP Homework from 'Mitra' + word document”以及标签“mitra_dsp”暗示了文件包含与数字信号处理（DSP）相关的MATLAB作业，该作业源自一本名为"Mitra"的书籍，并且附有一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值