牛津/亚马逊/西湖大学/腾讯等提出多模态多领域多语言医学模型M³FM,可用于零样本临床诊断

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

相信很多喜爱漫威电影的朋友都曾被这一幕所惊艳,在电影「钢铁侠 2」中,人工智能管家贾维斯通过采集斯塔克的血液样本,利用深度学习算法迅速将样本数据进行模块化,精准而快速地分析出斯塔克体内的钯金属含量,出具报告的同时甚至还能给出跨领域建议,如「现有元素无法替代钯金属,需要合成新元素」。尽管这只是短短几十秒的镜头,却将智慧医疗的自动化、智慧化、流程化等特征完美展现了出来。

然而在现实生活中,要想实现同样的结果,期间医务人员则需经历采血验血、图像分析、数据对比、出具报告以及疾病分类等繁杂的流程。而这也仅是从宏观角度来看,如果细分则更甚。以临床诊断中最常见的医学影像来说,医学影像可以描述临床发现,并为进一步诊断疾病提供依据。但当涉及用自然语言准确、简洁、完整、连贯地描述一份关于医学影像的报告时,却会让很多医务人员感到头疼和乏味。有数据显示,即便是经验丰富的医生,完成一份报告通常也需要平均 5 分钟甚至更长时间。

幸运的是,科幻虽然还未完全照进现实,但却已是透过黑暗的缝隙露出了一丝微光。在人工智能与医疗健康组成的交叉领域,越来越多的科研人员进行了大量研究,开发自动报告生成的方法,这些方法通过自动生成报告初稿,供医务人员审查、修改和参考,一方面可有效解决医务人员耗时耗力的工作任务,另一方面又能通过自动化降低人为错误发生的概率。

近期,国际知名学术期刊 Nature Portfolio 旗下 npj Digital Medicine 刊登了一篇题为 「A multimodal multidomain multilingual medical foundation model for zero shot clinical diagnosis」的研究,其中提到了一款多模态 (图像和文本)多领域 (CT 和 CXR)多语言 (中文和英文)医学基础模型 M³FM (Multimodal Multidomain Multilingual Foundation Model),可用于零样本临床诊断,支持疾病报告和疾病分类。 科研人员展示了此方法在 2 种传染性和 14 种非传染性疾病的 9 个基准数据集上的有效性,皆优于此前方法。

该研究的作者阵容豪华,除牛津大学、罗切斯特大学、亚马逊等单位的团队外,还包括了来自西湖大学医学人工智能实验室的郑冶枫博士和腾讯优图实验室天衍研究中心负责人吴贤博士。

在这里插入图片描述

论文地址:
https://www.nature.com/articles/s41746-024-01339-7

开源项目「awesome-ai4s」汇集了 200 余篇 AI4S 论文解读,并提供海量数据集与工具:

https://github.com/hyperai/awesome-ai4s

数据缺失仍是现有方法难解之痛

医学影像是医学影像报告及疾病分类的基础,对于后续的临床诊断具有重要帮助作用,因此相关的自动化方法的研究自然而然成为科研领域研究的重点之一。不过研究成果尽管颇丰,但从实践的角度仍有诸多不足,其中数据稀缺甚至完全缺失可谓关键挑战。

一方面, 疾病报告的生成类似于基于图像的语言生成任务,其目的是生成描述性文本来对输入图像进行描述。传统的基础方法通常严重依赖临床医生注释的大量高质量医学训练数据,而收集这些数据则需要付出高昂的代价和很长的时间,尤其是针对罕见病和非英语语言的情况。

具体来说,如针对新病或罕见病——这些疾病通常在早期阶段缺乏足够的有效数据进行训练,比如 2019 年底开始在全球肆虐的新冠肺炎,初期能够收集到的数据有限,这导致系统训练的时间远超疫情前几波的持续时间。另据「2024 中国罕见病行业趋势观察报告」显示,全球目前已知的罕见病已超过 7,000 种,保守的循证数据估计,罕见病在人群中的患病率约为 3.5% 至 5.9%,全球受罕见病影响的人数大概为 2.6 至 4.5 亿。如此庞大却非典型的疾病无疑也让上述问题更具挑战。

此外,全球医疗保健系统涉及不同区域、不同人群和不同语言,对于英语以外的语言来说,其相关标记的数据通常非常稀缺甚至完全缺失,因此标记数据的有限性对使用现有方法的非英语语言训练系统无疑构成了重大挑战。同时,这也使得现有方法在处理不常见的语言时变得更加艰巨,进一步影响了 AI 公平的目标,无法充分惠及代表性不足的群体。

另一方面, 为了有效地进行疾病分类,目前先进模型多受 CLIP 成功的启发,如 BioViL、REFERS、MedKLIP 以及MRM等,都是为了更好地理解医疗多模态数据而开发。在实施过程中,这些方法利用对比学习,使用医疗数据对 CLIP 模型进行预训练,但由于大多数模型都是特定于 chest X-ray(CXR) 的,因此它们通常无法在单个框架内处理多领域、多语言的医学图像和文本。同时,此前的工作也无法对语言和图像的不同领域进行零样本疾病报告。

  • CLIP 模型是 OpenAI 开发的对比语言-图像预训练模型——一种从自然语言监督中学习的有效方法。CLIP 主要通过对比学习来学习图像和文本之间的关联,在大规模图像 - 文本对上进行预训练,从而使模型能够理解和关联不同模态的信息。

在此背景下,开发一种能够在少样本或零样本情况下进行多模态、多领域、多语言临床诊断的模型迫在眉睫。本次研究提出具体创新如下:

  • 所提 M³FM 首次尝试进行零样本多模态多领域多语言临床诊断,其中用于训练的标记数据稀缺甚至完全缺失;

  • M³FM 在 9 个数据集上验证了其有效性,包括医学成像数据的两个领域,即 CXR 和 CT;两种不同的语言,即中文和英文;两种临床诊断任务,即疾病报告和疾病分类;多种疾病,包括 2 种传染性和 14 种非传染性疾病。

M³FM:两大模块组成,多项数据集验证

本研究中,所提 M³FM 的关键思想是在跨模态、领域和语言的公共医疗数据上预训练模型, 以便学习广泛的知识,然后利用这些知识在无需标注数据的情况下来完成下游任务。M³FM 框架的主要组成部分包括 2 个主要模块, 即 MultiMedCLIP 和 MultiMedLM。如下图所示:

在这里插入图片描述

M³FM 框架结构图

其过程是 MultiMedCLIP 在一个共享的公共潜在空间中对齐和桥接不同的语言和图像, 然后 MultiMedLM 根据共享潜在空间中的文本表示重构文本,最后 M³FM 直接基于统一潜在空间中来自不同领域的输入图像的视觉表示生成多语言报告。

具体来说,MultiMedCLIP 是用于学习联合表示的模块,引入了多域视觉编码器和多语言文本编码器,目标在于创建一个共享的潜在空间,用于对齐来自不同医学影像领域以及不同语言的视觉和文本表示。受到对比学习方法的启发,研究人员采用了 InfoNCE (Info Noise Contrastive Estimation) 损失和 MSE (mean square error) 损失作为训练目标,用于最大化正样本对和最小化负样本对之间的相似性,以此实现在不同领域的视觉表示和不同语言的文本表示上的对齐,为下游零样本推理打下坚实基础。

MultiMedLM 是用于生成多语种报告的模块, 引入了多语言文本解码器,旨在基于 MultiMedCLIP 提取的表示,学习生成最终的医学报告。该部分通过重建输入文本的方式进行训练,可以是中文文本和英文文本,采用自然语言生成损失——XE (cross-entropy) 损失作为训练目标。值得一提的是引入重建训练可以看做是无监督训练,只需要无标记的纯文本数据进行训练,因此在下游任务上也无需进行任务标注数据的训练。另外,为了保障 MultiMedLM 训练稳定,研究团队进一步引入了随机失活 (dropout) 和高斯噪声。

实验过程采用了 AdamW 优化器,设置学习率为 1e-4,批量大小为 32。实验在 PyTorch 和 V100 GPU 上进行,使用混合精度训练进行实验。

在数据集方面, 预训练是在 MIMC-CXR 和 COVID-19-CT-CXR 数据集上进行的,其中 MIMC-CXR 由 377,110 张 CXR 图像和 227,835 份英语放射学报告组成,为迄今为止发布最大的数据集;COVID-19-CT-CXR 包括 1 k 张 CT/CXR 图像及相应的英文报告。并且,研究人员在两个数据集上提取一半的英语语料库,使用 Google 翻译器构建中-英训练队,结果显示此方法可以改善机器翻译文本的结果。

在评估阶段,使用的数据集包括 IU-Xray、COVID-19 CT、COV-CTR、深圳结核病数据集、COVID-CXR、NIH ChestX-ray、CheXpert、RSNA 肺炎和 SIIM-ACR 肺气肿等,实现了模型性能全面评估。

IU-Xray: 包括 7,470 张 CXR 图像,以及 3,955 份英文放射学报告。该数据集被随机分为 80% - 10% - 10% 进行训练、验证和测试。

COVID-19 CT: 包含 1,104 张 CT 图像,以及 368 份中文影像学报告。同样该数据集被随机分为 80% - 10% - 10% 进行训练、验证和测试。

COV-CTR: 包含 726 张 COVID-19 CT 图像,与中英文报告相关联。

深圳结核病数据集: 包含 662 张 CXR 图像,训练、验证及测试集被拆分为 7:1:2。

COVID-CXR: 包含超 900 张 CXR 图像,数据集被随机分为 80% - 10% - 10% 进行训练、验证和测试。

NIH ChestX-ray: 包含 112,120 张 CXR 图像,每张图像都标记了 14 种常见放射病的发生情况,训练、验证及测试集为 7:1:2。

CheXpert: 包含超 220,000 张 CXR 诊断图像。预处理后,在训练集中得到 218,414 张图像,验证集中得到 5,000 张图像,测试集中得到 234 张图像。

RSNA 肺炎: 由约 30k 张放射学图像组成,训练、验证和测试集比例为 85% - 5% - 10%。

SIIM-ACR 肺气肿: 包括 12,047 张 CXR 图像,训练、验证和测试集比例为 70% - 15% - 15%。

实验表明了 M³FM 的优越性能,超过以往先进方法, 如下图所示。如在疾病报告结果中显示,在零样本设置下,以往方法都无法处理疾病报告任务,而 M³FM 能够在单个框架中同时执行多语言、多领域疾病报告。在少样本设置下,使用 10% 的下游标记数据进行训练时,M³FM 取得了最好结果,甚至比全监督方法的 R2Gen 在 CT - to - Chinese 报告生成方面的表现高出 1.5% 的 CIDEr 和 1.2% 的 ROUGE-L 分数。这表明了 M³FM 即便在标记数据稀缺的情况下也能生成准确有效的多语言报告,因此针对罕见病或新病将特别有用。

在这里插入图片描述

疾病报告结果对比

另外,研究人员还邀请了两名临床医生对模型进行评估,结果如下图所示。在无任何标注数据训练时,M³FM 就能生成理想的多语言多领域报告;当仅使用 10% 标注数据训练时,M³FM 在 CXR - to - English、CT - to - Chinese 和 CT - to - English 任务上就能比全监督方法的 R2Gen 分别高出 6% 、 8% 和 8%;当使用完整训练数据时,M³FM 在三个任务上可以比 R2Gen 提升超 20%,比 XProNet 分别提升 12% 、10% 和 8%。这表明了 M³FM 有着将临床医生从耗时耗力的报告编写任务中解放出来的潜力。

在这里插入图片描述

临床医生评估

在疾病分类方面,M³FM 在传染病诊断上显示了优越性, 在深圳结核病数据集和 COVID - CXR 数据集上,当使用 10% 的训练数据时,M³FM 的 AUC 得分分别比现有最佳结果高出 5.1% 和 3.9%。当完整使用训练数据时,M³FM 在两种传染病中取得了最好结果;在非传染性疾病方面,数据集来自 NIH ChestX-ray,M³FM 在仅 1% 的训练标签情况下与全监督方法 Model Genesis 取得了相当的结果;在 10% 时,M³FM 在多个疾病的诊断上优于基线方法 MRM 和 REFERS,这也证实了 M³FM 在疾病诊断方面的有效性和泛化能力。

在这里插入图片描述

传染病疾病分类结果对比

AI 引领智慧医疗,郑冶枫团队一马当先

此前,不少实验室已经将重点聚焦于此,其所提模型各有侧重,也各有千秋。

比如针对自动生成报告,大连海事大学信息科学技术学院发表在医学和生物图像分析领域专业论坛 Medical Image Analysis 上一篇题为「DACG:Dual Attention and Context Guidance model for radiology report generation」的研究,其中针对自动生成放射学报告提出了一种双重注意力与上下文引导 (DACG) 模型,能够缓解视觉和文本数据偏差,促进长文本的生成。

论文地址:

https://www.sciencedirect.com/science/article/abs/pii/S1361841524003025

还有针对多语言设计的模型,如上海交通大学王延峰教授与谢伟迪教授团队创建了一个包含 255 亿 tokens 的多语言医疗语料库 MMedC,开发了一个覆盖 6 种语言的多语言医疗问答评测标准 MMedBench,同时还构建了一个 8B 的基座模型 MMed-Llama 3,在多项基准测试中超越了现有的开源模型,更加适配医疗应用场景。相关研究成果以「Towards building multilingual language model for medicine」为题,发表于 Nature Communications。

点击查看详细报道:医疗领域基准测试超越Llama 3、接近GPT-4,上海交大团队发布多语言医学大模型,覆盖6国语言

相比而言,M³FM 在多模态、多领域、多语言等多方面出色的表现,无疑会给人工智能和医疗健康交叉的领域带来新的活力。 当然,提到本次研究也就不得不提到本文作者之一的郑冶枫博士。

事实上,这篇论文可以说是新鲜出炉的成果,同时也能看做是郑冶枫博士全新开始的标志。2024 年 7 月 29 日,IEEE Fellow、AIMBE Fellow、医学人工智能科学家郑冶枫全职加入西湖大学,受聘工学院教授,并创立了医学人工智能实验室。该实验室的研究方向包括医学影像分析、医学自然语言理解、生物信息分析 (Bioinformatics) 等。这篇文章正是该研究室首创之年的重要成果之一。

除了这篇成果之外,面向医疗健康领域,实验室还发布了多篇论文,比如题为「Unlocking the Potential of Weakly Labeled Data: A Co-Evolutionary Learning Framework for Abnormality Detection and Report Generation」的研究,其中介绍了一个协同异常检测和报告生成 (CoE-DG) 框架,利用完全标记与弱标记数据,可以促进 CXR 异常检测和报告生成两个任务互相发展。该篇研究发表于 IEEE Transactions on Medical Imaging。

当然,实验室还有针对当下如日中天的大语言模型的研究成果,如题为 「Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding」的研究,发表于 EMNLP 2024。该篇论文针对 LLMs 在医疗场景中易发生 「幻觉」 的现象给出解决方案,提出了一种「交替对比解码」(Alternate Contrastive Decoding,ALCD),该方法通过将模型的识别和分类能力分离出来,并在预测过程中动态调整两者的权重,可以显著减少错误的发生。该项技术在多个医学任务中表现出色。

如今,这些成果或尚在实验室,或有落地的势头,但总归 AI 将会驱动着医疗保健领域走向智慧化、智能化、自动化等道路。正如郑冶枫博士所说过,「医学人工智能,是一个快速发展的领域,我估计 10-15 年人工智能将具备医生诊疗的正确率,能够得到大量应用。」

参考资料:
1.https://www.nature.com/articles/s41746-024-01339-7
2.https://mp.weixin.qq.com/s/pMNXAvzgGRpPwqVtCWjXbA
3.https://mp.weixin.qq.com/s/6hw6EJY6slAIRbGGN9XY9g

4.https://www.westlake.edu.cn/faculty

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1320

【大语言模型】大语言模型(LLMs)在工业缺陷检测领域的应用

大语言模型(LLMs)在工业缺陷检测领域的应用场景正在快速扩展,结合其多模态理解、文本生成和逻辑推理能力,为传统检测方法提供了新的技术路径。

扶着老奶奶闯红灯 1895

不止于HTTPS请求:用VS2022编译的libcurl玩转文件上传和代理设置

本文详细介绍了如何使用VS2022编译的libcurl库实现文件上传和高级代理配置。通过实战代码示例,展示了多部分表单上传、二进制数据上传以及各种代理设置技巧,帮助C++开发者提升网络编程能力。

weixin_28595749的博客 206

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 338

Windows版本Carla(含RoadRunner插件)源码安装+RoadRunner地图导入

通过跳转浏览器账号密码登录github,不要选择Fine-grained personal access tokens,在git clone时会显示非授权,也不要使用Windows凭据!核心指令:编译PythonAPI–make PythonAPI,,编译Server–make launch,封装”游戏“–make package。完成安装后,在已安装->2022版本右侧->更多->导入配置,选择配置文件(需将配置文件内容更新为手册内容,如下图)->详细信息,更新。不要修改版本,执行上面指令即可!

winnizap的博客 1470

YOLOv8实战教程:从模型训练到改进的全流程指南

回顾这段YOLOv8的实战历程,从最初的模型训练到后来的各种改进尝试,我深刻体会到目标检测技术的魅力与挑战。YOLOv8作为一款优秀的框架,不仅易用性强,而且具备很强的可扩展性,让我能在其基础上不断创新。未来,我计划在以下几个方向继续探索:一是将YOLOv8与多模态技术结合,尝试实现图像与文本的联合目标检测;二是深入研究自监督学习在YOLOv8中的应用,减少对标注数据的依赖;三是探索YOLOv8在更广泛场景的部署,如机器人、自动驾驶等。

LXY_LOVE36的博客 285

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 614

fanuc机器人I/O分配

FANUC机器人在和其他外部设备进行通讯时,需要对信号进行配置。 在机器人处于UOP自动分配状态时,系统会自动检索已配对设备,并分配相应的机架号。 当我们需要手动对信号进行分配时,可参考以下机架号进行配置。 不同的通讯协议对应的机架号不同,外部通讯协议常用的机架号参考下表: 序号 机架号 通讯类型 1 0 Process I/O 2 1-15

haier123888的博客 1万+

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 276

【Zephyr存储专题】09_LittleFs文件系统操作

本文档旨在为开发者介绍Zephyr下Littlef's文件系统相关配置使用指南

zero的博客 3246

PCL 快速均匀下采样

快速均匀下采样 是一种点云降采样技术,通过设置采样步长来实现等距降采样,从而减少点的数量。用户可以通过指定步长,选择每隔一定数量的点采样一个点,这样可以在保持点云几何特性的同时,显著减少点的数量。

纵马踏花向自由 872

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 207

开源GIS -- 笔记

基础开发库 数据读写:GDAL/OGR(C/C++) ArcGIS和GE都是使用此工具 投影转换:Proj.4(C/C++) 拓扑计算:JTS(Java),GEOS(C++),Shapely(python) 组件式开发库 GeoTools(Java),DotSpatial(.NET) 空间分析: Scipy(通用科学计算、方程求解), numpy,NextworkX, rPy(统计分析), Scikit-learn,pysal(空间分析) 深度学习: Keras、 tensorflow、 pytor

DZ Space 4521

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 340

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 349

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 84

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 159

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 511

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 615

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

406

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 401

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5158

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 565

企业宣传片发前如何批量排查并遮挡视频里的敏感信息

做企业视频的人都会碰到一个具体问题:实拍画面里混进了不该出现的信息。办公室背景里有贴着客户信息的白板,采访对象的授权书边缘露出一串身份证号码,街采素材里路人面孔和车牌号直接入镜。人眼在时间线上扫视,会漏掉快速闪过的帧、画面边缘的小字、以及暗光区域里的证件号码。用抹影AI完成车牌、人脸和证件区域批量检测后,又手动补充了两个时间段的屏幕遮罩,最终导出时画面已无合规隐患。重点关注快速运动、遮挡、低光照条件下的目标,这些是漏检的高发区域。导入视频后选择要检测的目标类型(人脸、车牌、证件号、二维码等)。

Mysssone的博客 181

面向工业对讲的双通道声学 DSP 模组 A-59(NR2050-A)方案解析与工程落地案例

A-59模组以NR2050-A DSP为核心,37.5×16mm邮票孔封装,支持-40℃~85℃工业温域,兼容A-06/A-09/A-29系列,可低成本替换存量设备。通过固件切换实现三种模式:模式一(低改版成本,适配矿井、电梯);模式二(最优AEC,用于医院呼叫);模式三(双波束独立输出,支持双人会议语音分离)。集成AEC、ENC、BF与AGC算法,有效抑制回声、噪声与串扰,解决对讲系统核心声学难题。选型需注意参考信号路径、麦间距与温度匹配,建议先做声学测试再量产。

R190_6589的博客 372
上一篇: 【TVM 教程】为 x86 CPU 自动调优卷积网络
下一篇: 深度对话丨汇聚华中科技大学/上海AI Lab/上海交大的科研先锋,探索AI「她力量」背后的成长与突破
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值