基于11647例临床数据,法国团队首次实现基于机器学习的HCC肝移植双重死亡风险精准预测

损失函数与优化器:从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」 本文揭示损失函数与优化器本质一体:优化器仅依赖损失产生的梯度,而损失决定梯度的方向、尺度与噪声特性。错误的损失选择(如分类用MSE)会导致梯度失衡,使优化器失效;不同损失(如Huber、Focal)通过调控梯度分布影响优化过程。实测表明,归约方式、标签结构与损失配对直接决定梯度行为,进而影响收敛性与泛化。核心观点:选对损失,才是让优化器“看得懂”的前提。 阅读详情

肝癌因早期隐匿、进展迅猛等特点,一直以来素有「癌中之王」的称号。其中,肝细胞癌(HCC)作为最常见的肝癌类型,占到原发性肝癌的 70% - 90%,患者通常需要进行肝移植作为早期阶段的根治性手段,这也是众多 HCC 患者抓住生命希望的最后一根「救命稻草」。

然而,供体器官的极度稀缺让这份生的希望变得弥足珍贵。更棘手的是,HCC 肝移植候选者始终面临着肝功能衰竭与肿瘤进展的双重死亡威胁,两者相互交织、彼此影响,极大增加了患者等待期的死亡风险。因此,精准评估 HCC 肝移植候选者的等待期死亡风险,不仅是优化肝移植等待名单优先级和实现稀缺供体公平分配的关键,更是高效挽救每一位患者、守护来之不易的生命希望的核心挑战。

此前,如 Child-Pugh、Albumin-Bilirubin(ALBI)、Model for End-Stage Liver Disease (MELD) 等传统风险评估手段,已在肝脏疾病风险评估中广泛应用,但面对 HCC 患者的复杂境况却短板尽显:这些方法要么侧重肝功能和肝硬化程度评估,要么仅聚焦于肿瘤进展的预测,无法兼顾双重风险。即便后续诞生了 HALT-HCC、Mehta Model 等能同时考虑两种风险的综合评分系统,也因受限于线性模型、固定变量权重以及单时间点静态测量,无法捕捉影响因素间的相互作用和疾病动态进展的风险变化,难以实现个体化的准确风险评估。

针对这一临床痛点,来自法国南巴黎高等电信学院和巴黎萨克雷大学的研究团队,提出了融合集成学习(Ensemble Learning, EL)与 SHapley Additive exPlanations(SHAP)分析的机器学习框架,为 HCC 肝移植候选者的死亡风险评估提供了新解法。研究基于 11,647 例患者临床数据开展,对比了随机森林(RF)、XGBoost、LightGBM 三种集成模型,同时通过将 SHAP 值嵌入 Uniform Manifold Approximation and Projection(UMAP)低维空间并结合 K-medoids 算法进行监督聚类,明确了肝功能障碍和肿瘤进展是 HCC 患者死亡的两大核心风险。

这一研究针对性填补了此前机器学习模型在精准评估 HCC 肝移植候选者尤其是双重风险研究方面的空白,实现了 HCC 肝移植候选者 3 个月等待期死亡率的精准预测与临床可解释性,为 HCC 患者肝移植临床决策和风险分层提供了新工具。

相关成果以「Explainable Mortality Prediction for Liver Transplant Candidates with Hepatocellular Carcinoma: A Supervised Clustering Approach」为题,发表于 Health Data Science。

研究亮点:

* 本研究是首个通过机器学习模型进行深入分析 HCC 肝移植候选者等待名单死亡风险的综合性研究 

* 通过 SHAP + UMAP + K-medoids 实现 7 个临床可解释的风险亚组分层,明确双重风险核心驱动因素

* 基于 SHAP 筛选 8 个关键变量构建的全新风险评分 ELM-HCC,预测精度显著优于传统评分

* 首次将关键指标动态变量(如 AFP_DIFF)纳入 HCC 肝移植候选者风险评估,明确了其为 HCC 患者等待期死亡的关键预测指标

图片


论文地址:

https://spj.science.org/doi/10.34133/hds.0295
关注公众号,后台回复「肝移植」获取完整 PDF

查看更多前沿 AI 论文:

https://hyper.ai/papers

数据集:大样本策略 + 动态变量引入

为减少混杂因素,研究采用了一个基于公共数据库数据的大样本策略。

具体来说,研究数据来自 Organ Procurement and Transplantation Network(OPTN)和 United Network for Organ Sharing(UNOS)的标准移植分析与研究(Standard Transplant Analysis and Research, STAR)文件,范围覆盖 2002 年 2 月 27 日至 2023 年 9 月 30 日期间登记的非多器官移植成年 HCC 患者。

此次研究以预测 HCC 患者肝移植 3 个月等待期的死亡率为核心目标,因此研究团队将研究人群分为两组进行分析,即在等待名单上超过三个月的患者,称为「on waiting list」;3 个月内在等待名单上死亡或因病情加重而无法接受移植的患者,称为「waitlist mortality」。最终,总的研究队列包含了 11,647 名患者,其中 11,199 名患者为「on waiting list」,448 名患者为「waitlist mortality」,数据包含临床、实验室和疾病相关多维度变量。

在数据预处理阶段,为了捕捉患者健康状态的动态特征,研究团队计算了传统评分中涉及的 6 个关键实验室变量的连续测量差值(DIFF),包括血清钠(serum sodium)、肌酐(creatinine)、白蛋白(albumin)、胆红素(bilirubin)、甲胎蛋白(AFP) 和 国际标准化比值(International Normalized Ratio, INR),以此捕获患者健康状态的动态变化轨迹,使总特征数增加到 31 个(25 个原始静态变量 + 6 个新增动态变量)。

对于缺失值的处理,数值变量(缺失率 < 7%)使用类别均值填补;分类变量(缺失率 < 0.1%)直接删除了包含缺失值的观测记录。

模型架构:端到端一体化流程 + 多集成学习模型对比

为了使 HCC 肝移植候选者 3 个月等待期死亡率的预测具有可靠的准确率和可解释性,研究团队构建了一个融合集成学习、SHAP 可解释性分析、UMAP 降维与 K-Medoids 监督聚类的端到端一体化流程,如下图所示:

图片


HCC 肝移植候选者死亡风险评估与分层工作流程

首先,核心模型采用集成学习的树模型,这类模型对于处理表格和异构数据特别有效。为进一步对此类模型性能做出对比,研究共使用了 3 种基础的集成学习模型,包括随机森林、XGBoost 和 LightGBM。实验设置为在两种训练场景下展开,第一种仅使用 25 个原始静态变量;第二种使用 31 个含动态变量的动静态结合变量训练。

其次,可解释性的目的在于对预测结果进行科学、合理的解释,以增强临床决策的依据,为此研究团队将 SHAP 可解释性分析融入框架,用来识别关键风险因素并揭示模型预测。

对于全局解释来说,计算 SHAP 值量化每个特征对模型预测结果的贡献度,可以识别死亡率预测的核心风险因素,明确特征与死亡风险的关联方向;对于局部解释来说,通过 SHAP 总结图、SHAP 力图,可以展示单个特征值高低对于预测结果的具体影响,以及每个患者的特征贡献分布。此外,该环节还将为后续聚类分析提供 SHAP 值特征集,替代原始数据提升聚类的临床可解释性。

最后,为实现对患者的精细化风险分层,从群体水平预测转向亚组特异性分析,研究流程中加入了 UMAP 降维与 K-Medoids 监督聚类方法。首先将模型预测的 SHAP 值嵌入到 UMAP 降维空间中,之后采用 K-Medoids 算法对嵌入 3 维 UMAP 空间的 SHAP 值进行聚类,以发现具有不同临床特征的潜在患者亚组。该方法被称为「监督聚类」,因为聚类基于 SHAP 值而非原始数据。

最优聚类数确定是先通过量化指标 Silhouette coefficient、Davies-Bouldin index 筛选,然后再通过 SHAP 分析聚类特征进行临床验证,最终确定最优聚类数为 7。

实验结果:8 种传统评分作为对比 + 最优特征集训练新模型

风险评分表现对比

研究将所提框架与 8 种传统风险评估方法进行性能对比,包含 ALBI、Child–Pugh、AFP、Hazard associated with LT for HCC(HALT-HCC)、Mehta Model、MELD 及其两个变体 MELD-Na、MELD 3.0 。

考虑到数据集存在严重类别不平衡,研究对多数组(在等待名单上)进行了下采样,生成 30 个与少数组(等待期死亡)规模相当的子集,并针对每个平衡子集执行 3 折交叉验证,以确保同一患者的所有观测值均归为训练集或测试集。之后通过网格搜索确定 3 个集成模型的最优超参数配置,如下图所示:

图片


超参数配置

结果显示,在传统评分系统中,Mehta Model 表现最佳,AUROC 达 0.782,紧随其后的是 HALT-HCC,AUROC 为 0.763。更重要的是,这两种模型在敏感性和特异性方面的表现更为平衡。MELD 3.0 的表现虽然优于基础 MELD 和 MELD-Na,但其敏感性和特异性存在不平衡的问题。

图片


集成学习模型框架与 8 种传统评分系统的实验比较

而当实验扩展到集成学习框架时,首先在 25 个静态变量上的训练,其准确率均超过了传统评分系统。其中 RF 表现最佳,AUROC 为 0.796,且 72.41% 的敏感性和 75.24% 的特异性也表现的相当平衡;在引入包含动态变量的 31 个动静态结合变量后,所有集成学习模型性能更上一层楼。其中 LightGBM 的 AUROC 达到 0.826,敏感性达到最高的 77.42%,是识别高危患者最有效的模型。

识别关键风险因素能力分析

在模型训练完成后,研究将仅使用最相关的特征来评估它们的性能。为此研究团队针对性能最优的 LightGBM 模型,采用 Gain importance 和 SHAP global importance 两种特征重要性评估方法对关键特征进行筛选。

基于 LightGBM 模型(性能最优模型),SHAP global importance 筛选的前 8 个特征使得模型性能达到了最优表现,AUROC 达 0.835,敏感性为 77.14%,特异性为 75.64%,不仅优于 Gain importance 筛选结果(8 个特征时 AUROC 为 0.812;12 个特征时达到最佳,为 0.828),还高于 LightGBM 在 31 个完整变量集上的表现(AUROC 为 0.826),因此被研究团队选择为最优特征集。

图片


利用 SHAP global importance 筛选的 LightGBM 模型的特征重要性排序

最终,研究确定并基于最优特征集训练的 LightGBM 模型,构建了针对 HCC 患者的概率性死亡率评分,称为 ELM-HCC。值得一提的是,LightGBM 在简化后的变量集上比完整的 31 个变量集上的 AUROC 更好,体现了所选取的 8 个变量具备更强的预测影响力,同时,关键相关特征中出现的 AFP_DIFF 也突出了纳入动态信息的重要性。

风险分层与亚组分析

研究基于 SHAP 值的监督聚类识别出 7 个具有不同临床特征和风险水平的患者亚组,如下图 B 清晰的展示了聚类 1 到聚类 7 死亡概率逐渐增加的死亡分析按分层。

图片


A 为基于 SHAP 嵌入值的 UMAP 2D 可视化聚类

B 为 7 个聚类观测值的死亡概率箱型图和群体图

研究基于 Kruskal-Wallis 检验的进一步分析,揭示了不同聚类间变量的差异。如 SHAP 力图所展示:从聚类 1到聚类 7,死亡风险概率呈递进式增长,如代表性患者的死亡概率从 0.03 上升到 0.98。这一趋势与箱型图中所观察到的排名一致,凸显了聚类方法的有效性。

图片


7 个亚组代表的 SHAP 力图

另外,亚组分析还清晰地揭示了导致高死亡率风险的两个主要原因,即严重的肝功能衰竭(以高胆红素、高肌酐和中度腹水为特征,三者均对应正向 SHAP 值,显著增加死亡风险)和活跃的肿瘤进展(以高 AFP 水平为特征)。

总的来说,本研究所提出的基于 LightGBM 和 SHAP 可解释性分析的机器学习框架 ELM-HCC,在预测 HCC 肝移植候选者 3 个月等待期死亡风险方面,展现出显著优于传统评分系统的性能,同时通过监督聚类揭示具有不同风险特征的患者亚组,为临床决策提供了更精准、更具解释性的风险评估工具。

革新肝移植候选者风险评估手段,综合性方法弥补研究空白

如上文所述,肝癌正在成为一项全球性的公共卫生难题,面对日益严峻的疾病挑战和越来越高的医疗要求,科学合理的规划肝移植候选人名单显得弥足珍贵。早在 2002 年,Model for End-Stage Liver Disease(MELD )就已经被应用于肝移植候选名单的优先级排序,然而经过多次修订,MELD 的分配仍然无法公平地满足所有候选人。

而机器学习凭借其对高维和多模态数据的处理能力,如今已成为预测器官移植候选名单死亡风险的最佳方案。

此前已有机器学习模型应用于肝移植死亡率预测,如麻省理工学院、加州大学旧金山分校以及得克萨斯大学的联合团队,提出了基于最优分类树(OCTs)构建的死亡率优化预测模型 OPOM。基于该模型分配肝脏,每年死亡人数比基于 MELD 可减少约 418 例,各 UNOS 区域及各疾病严重程度等级死亡/移除人数均呈显下降。另外,该模型还调整了对非 HCC 和 HCC 患者肝脏分配数量,使肝移植分配得到显著优化,减少了候选者死亡。
 

论文题目:Development and validation of an optimized prediction of mortality for candidates awaiting liver transplantation
论文地址:

https://www.sciencedirect.com/science/article/pii/S1600613522090335

不过,OPOM 虽表现出色,但该模型基于 HCC 和非 HCC 混合队列,未针对性解决 HCC 患者面临的肝功能衰竭与肿瘤进展双重风险问题。而 ELM-HCC 无疑是对此空白的填补。

最后,本次研究不仅仅是对前人研究的精进和拓展,更难能可贵的是如作者所言,是对当前研究空白的弥补,通过首次实现 HCC 肝移植候选者 3 个月等待期死亡率可解释性精准预测,为机器学习+器官移植候选者风险评估提供了新思路。

参考资料:
1.https://spj.science.org/doi/10.34133/hds.0295
2.https://www.sciencedirect.com/science/article/pii/S1600613522090335

从部署到养成:Hermes智能体接入DeepSeek与微信机器人的完整实战指南 智能体(Agent)正成为大模型从“对话”走向“行动”的关键形态。它通过拆解指令、调用工具、执行任务,让AI真正参与工作流。Hermes作为可本地部署的开源智能体框架,支持接入DeepSeek等主流大模型,并提供网关、工具调用、记忆管理等模块化能力。从Docker容器部署到微信机器人桥接,从自动化定时任务到Computer Use桌面控制,Hermes将个人助理从概念落地为可运行的工程系统。本文基于真实实践,梳理架构原理、部署流程、API配置与高频故障排查,为技术玩家提供一套从零到一的上手指南。 阅读详情

相关推荐

【紫光同创PG2L200H开发板】盘古200Pro+开发板(MES2L676-200HP)

开发板 SMA接口符合标准 SMA 接口规范,可使用”内螺旋+插针“的 SMA 线连接板卡”外螺旋+插孔”的 SMA 接口进行通信,板卡 SMA 接口与 FPGA 的 HSST 收发器的一路 RX/TX 相连,TX信号和 RX 信号都是以差分信号方式通过隔直电容连接 FPGA 和 SMA 接口, TX 发送和 RX 接收数据速率高达 6.6Gb/s。为了减轻带电插拔造成对 FPGA 芯片的损坏,在设计上在 JTAG 信号位置添加了保护二极管来保证信号的电压在 FPGA 接受的范围,避免 FPGA 的损坏。

MYMINIEYE的博客 2884

机器学习预测HCC肝移植双重死亡风险:从MELD到生存建模

肝移植是终末期肝病的重要治疗手段,但供肝稀缺让风险预测成为核心议题。传统MELD评分聚焦肝功能储备,却难以覆盖肿瘤进展带来的动态威胁。机器学习结合生存分析框架,能同时建模等待期死亡与移植后死亡的双重风险,通过梯度提升生存模型、SHAP可解释性分析和校准度验证,突破线性模型的交互局限,为器官分配和临床决策提供更精细的风险分层。此类模型可嵌入现有分配系统作为决策支持层,但需警惕外部验证缺失和伦理治理挑战。理解从概念到落地的完整链路,有助于把握医疗AI在移植领域的真实价值。

weixin_29185493的博客 198

从仿真到实物:Realsense D435+ROS2焊接机械臂的视觉标定与数据验证指南

本文详细介绍了如何将Realsense D435相机与ROS2焊接机械臂从仿真环境迁移到实物部署的全过程。通过视觉标定、数据验证和焊接场景优化,确保系统在真实环境中精准可靠。重点讲解了硬件配置、驱动优化、数据一致性验证及焊接应用的特殊处理,为工业自动化开发者提供实用指南。

weixin_28701593的博客 407

肝细胞癌肝移植双重死亡风险预测:基于11647例真实世界数据的机器学习建模

在临床预后预测领域,生存分析是评估患者结局的核心方法,而机器学习技术的引入为传统统计模型带来了新的突破。肝细胞癌作为原发性肝癌的主要类型,其肝移植术后的死亡风险受肿瘤特征、肝功能状态及并发症等多重因素影响,传统米兰标准等评估工具已难以满足精准分层需求。本文从生存分析的基本概念出发,探讨如何利用随机生存森林等算法对大规模真实世界数据进行建模,实现移植术后短期与长期双重死亡风险预测。该技术路径不仅能够辅助移植科医生优化器官分配与围手术期管理,还能为多学科会诊提供量化依据。结合临床部署中的缺失值容忍、校准度验证及

weixin_42570484的博客 232

浅谈迪杰斯特拉(Dijkstra)算法和A*算法原理及实现

迪杰斯特拉(Dijkstra)算法和A*算法的原理及实现。

Guo_Zhanyu 9599

初识colmap

COLMAP是一款开源的计算机视觉软件,主要用于从一系列二维图像中进行三维重建。它全称为“COLLISION-MAPping”,是一个高度集成的Structure-from-Motion (SfM) 和 Multi-View Stereo (MVS) 管道工具,由斯坦福大学开发和维护。COLMAP的主要功能包括特征检测与匹配、增量式SfM、多视图立体匹配以及优化。它能够从无序或有序的二维照片集合中恢复出三维场景的几何结构(点云)以及每张图像对应的相机姿态。

Hhsjehejj的博客 5552

肝细胞癌肝移植风险预测模型:机器学习在临床决策中的应用

机器学习在医疗领域的应用正逐步改变传统临床决策模式。通过特征工程和算法优化,机器学习模型能够整合多源异构医疗数据,构建高精度的预测系统。在肝细胞癌(HCC)治疗领域,肝移植的供受体匹配是关键挑战。最新研究采用多任务学习框架,结合肿瘤生物学特征和器官功能状态,开发出双重死亡风险预测模型。该模型在短期死亡率预测准确率提升至92.3%,5年生存率预测误差显著降低。技术实现上涉及分布式数据采集、DICOM影像标准化、以及基于FastAPI的实时预测引擎。这类临床决策支持系统可优化供肝分配,提升边缘供肝利用率,为精准

weixin_33212799的博客 206

YOLOv12涨点改进 | Neck特征融合改进篇 | YOLOv12引 入 BiFPN双向特征金字塔网络,显著提升了多尺度特征融合效率,目标检测、图像分割、图像分类,助力高效涨点

本文提出了一种基于BiFPN特征融合模块优化的YOLOv12目标检测方法。BiFPN通过引入可学习的权重实现高效的多尺度特征融合,结合双向连接机制提升特征提取能力。实验表明,该方法在COCO数据集上实现了优异的检测性能。文章详细介绍了BiFPN模块的原理、核心代码实现,以及如何将其集成到YOLOv12框架中,包括模块添加、配置文件修改等具体步骤。这种改进方案具有参数少、计算量小等优势,为高效目标检测提供了一种新的技术路径。

Ai缝合怪、助力小伙伴高效发论文 391

【机器学习300问】139、Post-LN 和 Pre-LN 的区别?

Post-LN与Pre-LN的核心区别在于LayerNorm的位置:Post-LN在残差连接后,导致梯度需经LayerNorm变换,深层易出现梯度衰减或震荡;Pre-LN先做归一化,使输入稳定,残差路径梯度可无损回传,显著提升深层训练稳定性。尽管Pre-LN支持更深层次模型(如LLaMA、Qwen),但存在“深度诅咒”——深层贡献不足。相比之下,Post-LN浅层表现尚可,深层数易发散。因此,现代大模型普遍采用Pre-LN以保障训练可靠性。

qq_39780701的博客 396

查找【优快云】- 人工客服

【代码】查找【优快云】- 人工客服。

👨‍💻 前端开发者 | 技术分享者 1403

【PX4学习笔记】3. PX4 固件烧写(1 探索过程)

飞控型号:cube orange【PX4官方用户指南中关于cube orange的描述】 飞控载板型号:Mini Carrier Board【迷你载板说明文档】 固件安装参考:The Cube User Manual V1.0

【人工智障 | 计算鸡视觉 | 机器孩】 7676

机器学习基础|监督学习、标签、回归

网约车预估等待时长依赖监督学习中的回归任务。平台利用历史订单数据,以司机实际到达耗时为标签,通过上车点、时间、运力、路况等特征训练模型。模型不断优化预测值与真实耗时的误差,最终对新订单输出连续的预估等待时间,实现精准预测。

weixin_43971465的博客 241

20、微电网系统的系统框架、建模与控制架构解析

本文详细解析了微电网系统的系统框架、建模方法以及控制架构。文章首先介绍了在系统的系统(SoS)框架下,微电网如何通过微控制器(MC)和微电网中央控制器(MGCC)协调运行,并支持并网与孤岛模式下的高效能量管理。随后,针对微电网的关键组件,包括微涡轮机、光伏太阳能电池和风力涡轮机,提供了详细的数学建模分析。最后,探讨了微电网的控制架构设计,涵盖分层控制和共识控制策略,以实现系统的高效、稳定运行,满足日益增长的能源需求与市场要求。

elastic6hunter的博客 206

Hugging Face:成为机器学习界的“Github”

以下文章来源于OneFlow,作者OneFlow社区五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2

2601_96798011的博客 126

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

这7个小众Python库,才是机器学习工程化的降效神器

别再只盯着TensorFlow了:这7个小众Python库,才是机器学习工程化的降效神器在很多人的印象里,机器学习似乎就是高深莫测的数学公式、成千上万的GPU集群

2601_96797912的博客 160

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

机器学习——混淆矩阵(待更新)

二元: true表示真实==预测,positive表示预测值=1.

m0_61175448的博客 134

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【机器学习300问】138、LayerNorm和BatchNorm的区别?

本文阐述了归一化与标准化在深度学习中的核心作用。输入层标准化可统一初始输入,但深层网络仍面临激活分布漂移。为此,提出BatchNorm与LayerNorm两种主流方法。

qq_39780701的博客 183

为什么生成对抗网络训练常不稳定,模式崩溃与判别器过强之间是什么关系?

当支持集不重叠时(即 $D$ 能完美区分真假),JS 散度为常数 $\log 2$,其梯度为 0。这意味着一旦 $D$ 训练得稍好,$G$ 就失去了学习方向,导致训练停滞。生成对抗网络(GAN)的训练本质上是生成器($G$)与判别器($D$)之间的非合作零和博弈。以下代码展示了如何通过梯度惩罚(Gradient Penalty)来约束判别器,避免其过强导致生成器梯度失效。判别器过强是导致模式崩溃的直接诱因之一,二者之间存在明确的**“梯度误导”**因果关系。

2402_84593233的博客 204

Spark06_MLlib机器学习

本文是《PySpark 从入门到实战》系列收官篇,带你用 Spark MLlib 走通机器学习全流程:从三要素与 7 步标准流程讲起,剖析 KNN、朴素贝叶斯、决策树三大算法原理,再以 KNN 手写、垃圾短信分类、决策树分类、逻辑回归鸢尾花(准确率 96.67%)、K-Means 聚类(轮廓系数 0.7345)五个案例落地,最后详解 TF-IDF 文本特征与余弦相似度。全文代码可直接运行,适合有 RDD 与 Spark SQL 基础的开发者快速上手。

2301_80420058的博客 451

AI 是怎样从数据中学习的?训练、验证、测试与推理

泛化能力(Generalization)指模型面对训练过程中没有见过的新数据时,仍然能够做出合理预测的能力。这是判断模型是否具有实际应用价值的重要标准。例如:一个用户流失预测模型,在历史数据上表现很好,但面对新上线的用户群体时,预测准确率明显下降。这可能说明模型学到的规律无法适应新的用户群体。泛化能力不仅取决于模型本身,也与训练数据是否具有代表性有关。训练数据只包含老用户,没有新用户。训练数据主要来自某个地区,实际业务却覆盖不同地区。过去的用户行为与当前用户行为已经发生变化。

dshizixu的博客 312

机器学习01,KNN使用与简单数学原理

个人笔记

qq_59247073的博客 265

机器学习教程,从入门到精通,高斯混合模型(GMM)——写给机器学习小白的保姆级教程(10)

高斯混合模型(Gaussian Mixture Model,简称 GMM):假设你手里的数据是由"好几堆正态分布的数据混在一起"形成的,GMM 的任务就是——把这几堆分开,并且描述清楚每一堆的样子。

qq_45746668的博客 120

AI小白入门|无监督学习到底是什么?

很多新手看完无监督学习的定义只会死记硬背。本文避开复杂公式,从真实业务场景切入,对比监督学习,讲清楚无监督学习的核心价值、适用场景、底层逻辑和容易踩坑的认知误区,帮你理解它在机器学习链路里的定位。

weixin_43971465的博客 180

机器学习01,了解与KNN

个人笔记

qq_59247073的博客 361

【slam公式】

F:状态转移矩阵H:观测矩阵R: 观测噪声协方差。

qq_44691564的博客 328

基于有效Token规模化的大模型预训练数据配方与工程体系研究——基于唐杰《高级机器学习》课程演讲

在此背景下,本文系统梳理GLM系列模型数据迭代轨迹,纠正数据墙认知偏差,分析天然数据与合成数据的互补机制,并完整构建支撑高质量Token挖掘的全链路数据工程体系,为大模型数据规模化建设提供理论与工程参考。早期小模型训练场景下,数据总量远大于算力可消化量,核心策略为择优筛选少量高质量数据。基于唐杰公开演讲核心观点、GLM数据迭代、数据墙、合成数据、清洗解析工具链、分层架构图、自研工程壁垒),完整重构成一篇结构严谨、逻辑连贯、标准期刊论文风格全文,预留精准图片插入位置,可直接定稿、查重、发表、结课提交。

interpromotion的博客 266
上一篇: 突破传统多模态整合局限!MIT提出APOLLO框架,实现细胞共享与特异性信息明确分离
下一篇: MOSS-TTS:基于 CAT 架构的解耦式生产级语音生成模型;打破单细胞分析壁垒:Pan-Cancer scRNA-Seq 数据集构建跨癌种免疫图谱基准
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值