覆盖 7 百万问答数据,上海 AI Lab 发布 ChemLLM,专业能力比肩 GPT-4

ChemLLM化学大模型再升级,AI助力化学研究 ChemLLM系列模型是由上海人工智能实验室基于InternLM2 开发的首个兼备化学专业能力和对话、推理等通用能力的开源大模型。相比于现有的其他大模型,ChemLLM 对化学空间进行了有效建模,在分子、反应和其他领域相关的化学任务上表现优异。 阅读详情

随着人工智能技术的飞速发展,大语言模型 (LLMs) 凭借其强大的自然语言处理能力,在生命科学、海洋学、材料化学等科学研究中被广泛应用。虽然,LLMs 在分子特性预测、分子生成和实验方案设计等化学相关任务上表现良好,但在处理各种化学下游任务时表现欠佳。

究其原因,直接将化学知识集成到语言模型中,主要面临三大挑战: 首先,大多数化学信息和知识存储在结构化数据库中,直接使用这些数据训练 LLMs 可能会损害模型处理自然语言的能力,使得模型的对话和逻辑推理能力发生退化;其次,在化学信息学中,分子用特殊符号表示,如 SMILES。然而这类数据往往不符合自然语言的规范,因此常规的语言模型难以正确理解和生成这种符号;最后,化学数据和任务种类繁多,设计一个灵活并能泛化到多种化学任务上的训练流程十分困难。

针对于此,上海人工智能实验室发布了化学大语言模型 ChemLLM。ChemLLM 擅长通过流畅的对话交互执行化学学科的各种任务,在核心任务上的性能与 GPT-4 相当,并在一般场景中表现出了与类似规模的 LLM 相媲美的性能。 ChemLLM 为化学研究的探索开辟了新的道路,并且研究团队将结构化化学知识融入对话系统的方法,为开发各科学领域的 LLM 树立了新的标准。

相关研究以「ChemLLM: A Chemical Large Language Model」为题,已发表于 arXiv,成果已开源,并提供免费商用。目前 HyperAI超神经官网 (hyper.ai) 已上线「一键部署化学大模型 ChemLLM-7B-chat」,分步教程详见文末~

研究亮点:

  • 创建并开源大规模化学数据集 ChemData 以及 ChemPref-10K 的中英文版本数据集、C- MHChem 数据集、 ChemBench4K 化学能力评测基准数据集

  • 创建并开源包含 4,100 道选择题、9 项特定任务的大规模化学基准测试 ChemBench

  • 通过定量、定性的评估测试,ChemLLM 表现出良好的化学专业性和多功能性

在这里插入图片描述

论文地址:
https://arxiv.org/abs/2402.06852

化学大模型 ChemLLM-7B-chat 教程已在 hyper.ai 上线,点击链接一键部署:
https://go.hyper.ai/r31KV

ChemData 化学任务数据集下载地址:
https://go.hyper.ai/zMJEl

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:
https://github.com/hyperai/awesome-ai4s

ChemData 数据集: 涵盖 700 万条问答数据的大规模化学数据集

研究人员从众多在线资源库中收集了包括 PubChem、ChEMBL、ChEBI、ZINC 等在内的化学数据,并在此基础上创建了一个用于微调 ChemLLM 的大规模数据集 ChemData。

ChemData 数据集利用基于模板的指令构建方法,将结构化的化学数据转换为适合训练 LLM 的自然对话形式。该数据集包含 700 万条用于指令微调的问答数据,涵盖了广泛的化学领域知识,并且该问答数据类别与分子、反应和其他与化学相关的任务类别一致。

其中,与分子相关的任务包括名称转换 (Name Conversion)、Caption2Mol、Mol2Caption 和分子性质预测 (Molecular Property Prediction), 主要目的是调整语言模型对化学分子的感知。

与反应相关的任务涉及化学反应的各个方面, 包括逆合成 (Retrosynthesis)、产物预测 (Product Prediction)、产量预测 (Yield Prediction)、温度预测 (Temperature Prediction) 和溶剂预测 (Solvent Prediction)。除可明确分类的数据外,所有其他数据都归入特定类型的任务,从而增强 ChemLLM 对整个化学空间的理解。下图展示了这三类任务所包含数据分别占的比重。

在这里插入图片描述

ChemData 数据集构成占比

ChemLLM 模型架构:以 InternLM2-Base-7B 为基底,进行两个阶段的指令微调

化学大语言模型 ChemLLM 是在 InternLM2-Base-7B 模型训练基础上,通过两个阶段的指令微调方法训练得到的,不仅实现了多种化学能力,还保留了完整的自然语言能力。

如下图所示,在第一阶段,研究团队使用 Multi-Corpus(一个从 Hugging Face 收集的包含 170 万个问答对的综合语料库),提升了模型的通用语言能力,并将第一阶段获得的模型命名为 InternLM2-Chat-7B 。

在这里插入图片描述

ChemLLM 两个阶段的指令微调流程示意图

在第二阶段,研究团队使用 ChemData 和 Multi-Corpus 的混合数据集对模型进行微调,其中 ChemData 用于增强模型的化学知识,而 Multi-Corpus 用于保留模型的通用能力。经过两个阶段的指令微调训练,提高了 ChemLLM 在化学领域的通用性。

ChemBench 基准测试:减少语言模型输出风格对评估结果的影响

现有的化学大模型基准测试多以问答形式呈现,并使用 BLEU 和 ROUGE 作为评估标准。然而,这类评估容易受到语言模型输出风格的影响,不适合强调科学事实正确性的场景。

基于此,研究团队构建了与当前主流评估集 MMLU、C-Eval 相类似的化学基准测试 ChemBench。ChemBench 包括 9 项关于化学分子和反应的任务,并且与 ChemData 数据集中的任务相同。 除此之外,ChemBench 还包含 4,100 道选择题,每道题对应一个正确答案,旨在最大程度地减少语言模型输出风格对评估结果的影响。

值得一提的是,该基准测试已经在 OpenCompass 开源项目上线。下图展示了 ChemBench 基准测试 9 项任务的分布情况。

在这里插入图片描述

ChemBench 基准测试 9 项任务分布情况

研究结果:ChemLLM 模型化学专业能力与 GPT-4 相当,明显优于类似规模的一般 LLMs

研究团队从定量与定性两个维度,对化学大语言模型 ChemLLM 的性能进行评估。 定量评估包括化学能力和通用能力评估,定性评估主要通过与化学相关 NLP(自然语言处理)任务中的表现进行评估。

在化学能力评估中, ChemBench 作为评估核心化学能力的基准,通过 9 项不同任务测试该模型的专业性。如下图所示,ChemLLM 明显优于类似规模的一般大语言模型 (LLMs),全面超越了 GPT-3.5。与 InternLM2-Chat-7B 相比,ChemLLM 在化学方面的能力有了显著提高,说明第二阶段的化学能力训练具有显著效果。与 GPT-4 相比,ChemLLM 在 9 项任务中有 6 项得分比 GPT-4 高。

在这里插入图片描述

ChemLLM 化学性能评估得分

在通用能力评估中, 研究团队使用 MMLU、C-Eval、GSM8K、C-MHChem 4 个数据集对 ChemLLM 进行评估。其中,MMLU 是一个涵盖 STEM(科学、技术、工程和数学)、人文和社会科学等跨学科科目的基准测试,对跨学科知识进行广泛评估;C-Eval 是一个全面的中文基准测试,涵盖多个学科并分为 4 个难度等级;GSM8K 是一个用于测试语言模型数学能力的基准测试,要求通过 2-8 步的基本数学运算来解决问题;C-MHChem 是一个用于评估模型基本化学概念的数据集,主要涉及初高中化学测试。

如下图所示,在英文的 MMLU 和中文的 C-Eval 基准测试中,ChemLLM 的准确率分别为 65.6 和 64.1,说明它在更广泛的学科和多语言场景中表现出色。

在 GSM8K 数据集测试中,ChemLLM 的准确率达到 67.2,结果表明在化学数据上进行微调,在一定程度上增强了模型的推理能力。

在 C-MHChem 数据集测试中,ChemLLM 准确率为 76.4,超过了 GPT-4,展示了 ChemLLM 在中国初高中考试中的能力。

在这里插入图片描述

ChemLLM 通用性能评估得分

在定性评估中, 研究团队通过化学诗歌创作、文本提取、化学文献翻译、伦理回答等与化学相关的 NLP(自然语言处理) 任务对 ChemLLM 进行评估。结果显示,ChemLLM 在各种 NLP 任务中都能够对化学知识进行更深入地理解和创造性运用。下图列举了 ChemLLM 在部分 NLP 任务上的表现:

在这里插入图片描述

ChemLLM 化学诗歌创作

在这里插入图片描述

ChemLLM 化学信息提取

以上研究结果显示,ChemLLM 能够通过实时对话处理各种化学任务,其化学能力与 GPT-4 相当,并在其他领域表现出色。

目前,ChemLLM 已经完成新一轮升级,ChemLLM-1.5 接入 RAG 功能,不仅支持对化学文献进行深度挖掘和理解以及联网搜索,而且支持与 ChemLLM 直接对话探讨文章内容。 ChemLLM 的发展为科学领域的 LLMs 树立了先例,进一步加速了 AI 时代化学研究的进程。

HyperAI超神经官网 (hyper.ai) 已经上线了「一键部署化学大模型 ChemLLM-7B-chat」, 以下是分步教程与效果展示,快跟着小编一起探索吧~

一键部署化学大模型 ChemLLM-7B-chat

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「一键部署浦科化学大模型 ChemLLM-7B-chat Demo」,点击「在线运行此教程」。

在这里插入图片描述

在这里插入图片描述

  1. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

在这里插入图片描述

  1. 点击右下角「下一步:选择算力」。

在这里插入图片描述

  1. 页面跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

在这里插入图片描述

  1. 点击「继续执行」,等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「API 地址」边上的跳转箭头,即可跳转至「一键部署浦科化学大模型 ChemLLM-7B-chat Demo」的页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

效果预览

以药物研发中的伦理困境问题进行测试

在这里插入图片描述

参考资料:
1. https://mp.weixin.qq.com/s/C_aFYbzLlQySmTDarWWRkA
2. https://mp.weixin.qq.com/s/b9T9LxAkv4gnJMfBs2AW5Q

ChemLLM: A Chemical Large Language Model 论文《ChemLLM: A Chemical Large Language Model》聚焦于化学领域专用大语言模型的开发。化学数据和科学知识多以结构化数据库存储,直接使用时限制了模型维持连贯对话的能力;缺乏涵盖多数化学任务的客观公平基准。ChemLLM:首个专为化学设计的LLM,具备跨化学学科任务处理和流畅对话交互能力。ChemData:专为指令微调设计的数据集,整合化学领域知识。ChemBench:覆盖9项关键化学任务的稳健基准。 阅读详情

相关推荐

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品)

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品)

jks212454的博客 492

垂直领域大模型搭建训练指南,ChemLLM论文介绍

论文是上海人工智能实验室的工作,想训练一个化学垂直领域的对话大模型,然而现有的化学数据往往是结构性的,所以这里论文提出了一套垂直领域数据制作和训练方法,为社区制作专有领域模型提供参考。ChemLLM在化学的三个主要任务上都超过了GPT-3.5,并且超过了GPT-3.5,在其中两个任务上都超过了GPT-4。值得注意的是,ChemLLM对相关的数学和物理任务也显示出了特殊的适应性,尽管它主要接受了以化学为中心的语料库的训练。原化学的表达是SMILES,不适合自然语言处理。

大模型天花板 4000

基于深度学习实现实时视频目标检测

实时视频目标检测是计算机视觉领域的研究热点之一,其应用场景包括智能监控、自动驾驶、机器人视觉等多个领域。深度学习技术的快速发展使得实时视频目标检测变得更加可行和准确。本文提出一种基于深度学习实现的实时视频目标检测系统,使用Python和OpenCV作为开发工具,具有高效、准确和实时的特点。 本系统的主要需求是实现实时视频目标检测功能,可以在不同的应用场景中使用。具体的需求如下:2.1 视频输入本系统需要从摄像头或视频文件中获取实时视频流,并对视频流中的目标进行检测和跟踪。2.2 目标检测本系统需要使用深度学

分享毕业设计的案例和论文 1944

ChemLLM:化学领域的大模型

在化学这一特定学科的应用上,一直缺乏专门的对话模型。化学数据和科学知识通常存储在结构化的数据库中,这给直接使用这些数据训练语言模型带来了挑战。为了解决这一问题,来自上海人工智能实验室的研究团队及其合作者们开发了一种基于模板的指令构建方法,将结构化知识转化为适合语言模型训练的自然对话形式。 ChemLLM 的开发,填补了化学领域对话模型的空白。它不仅在化学任务上表现出色,如分子属性预测、分子生成和实验方案设计等,还在数学和物理等相关领域展现了出色的适应性。ChemLLM 在化学核心任务上超越了 GPT-3.

人工智能讲师分享前沿技术 2315

【毕业设计】_基于STM32单片机的按摩椅( 原理图+源码)

按摩器系统基于STM32单片机设计,作为核心控制单元。系统配备了OLED显示屏、蓝牙模块、喇叭模块、播报模块和光电感应模块。光电感应器用于检测是否有人接近,同时,系统可以通过蓝牙接收控制指令并执行相应的操作。该系统支持40℃的热敷功能以及气囊按摩功能,具备温度显示功能,并且可以通过按键切换不同的按摩模式。当光电感应器检测到有人时,按摩椅会自动启动。使用DHT11传感器的红色按钮可以调整温度。

2401_85381100的博客 724

RK3588设备树调试实战:解决NPU不加载、USB3.0识别异常与DP显示问题

本文深入探讨了RK3588设备树调试中的三大典型问题:NPU不加载、USB3.0识别异常与DP显示问题。通过详细的问题定位步骤、关键设备树修改和调试技巧,帮助开发者快速解决硬件适配中的挑战,提升RK3588平台的开发效率。

weixin_30576827的博客 481

【AI4S】ChemLLM:一种化学大型语言模型

ChemLLM 是一个综合性框架,首次推出了专为化学领域打造的大型语言模型。此外,它还包含 ChemData 数据集,该数据集专为指令微调而设计;以及 ChemBench 基准测试,涵盖了九项关键化学任务,性能卓越。

小哲的博客 1379

【STM32项目】老人健康跌倒检测系统实现(附教程PCB资料)

功能概述 跌倒检测 倾倒告警,人体角度倾斜至阈值触发蜂鸣报警 异常运动,加速度超过正常行动阈值时触发报警 心率监测 实时检测心率数据 血氧监测 实时检测采集血氧 血压测量 血压在线测量 红外体温 非接触体温采集方案 接触式体温采集方案 实时定位 中科微GPSGT-U12双频GPS北斗 GLONASS IRNSS定位系统 NEMA数据解析 可扩展高精度定位方案厘米级 屏幕显示 数据采集显示 告警阈值设置 语音提示 1欢迎使用老人智慧监测系统

洋洋的博客 1万+

AI颠覆材料化学,汇总2024年最值得关注的科研成果

正在开创一场全新的科研革命,在材料化学领域,这场变革尤为显著。告别传统的「凭经验+反复试错」模式,在智能驱动的材料研发中,AI 在科学仿真、模型预测、高通量实验、自动化表征等方面提供重要手段,可有效降低新材料研发成本,提高研发效率。回望即将谢幕的 2024 年,材料化学领域在 AI 的加持下捷报频传,也涌现出越来越多的高价值研究成果。

HyperAI超神经 3615

使用STM32F103C8T6控制舵机丝滑运转附代码

使用STM32F103C8T6控制舵机丝滑运转原理和案例,附代码。

m0_63566592的博客 4240

STM32多模式智能小车状态机设计与中断优先级实践

在嵌入式实时系统中,状态机是实现多任务协同与功能切换的核心范式。其本质是通过有限状态集合、明确转移条件和确定性动作,构建可预测、易维护的控制逻辑。基于STM32等资源受限MCU时,需兼顾状态调度效率、中断并发安全与硬件资源约束。关键技术价值体现在:提升系统模块解耦度、支持物理按键与蓝牙双源触发、保障实时响应不丢帧。典型应用场景包括智能小车多模运行(循迹、避障、遥控、定距跟随等)、工业设备工作模式切换及IoT终端低功耗状态管理。本文以STM32F103C8T6平台为例,深入解析全局模式变量设计、双通道状态切换

weixin_42509888的博客 96

春节后,必读的12篇大模型论文

分享几篇春节假期期间热门大模型论文,包括首个为Windows OS定制的UI智能体UFO、可阅读20倍上下文的AI智能体ReadAgent、首个化学领域大模型ChemLLM等。

AMiner2006的博客 1645

【机器学习(一)】从零到一:用sklearn构建你的第一个机器学习项目

本文为机器学习新手提供了一个完整的端到端实战指南。通过使用Python的scikit-learn库,以经典的鸢尾花数据集为例,详细演示了从环境搭建、数据探索、预处理、模型训练与评估,到超参数调优和模型保存的全流程。文章旨在帮助读者快速构建第一个机器学习项目,掌握核心工作流和工程实践。

weixin_29070861的博客 469

LLM在AI4SCIENCE中的应用

上海ai for science团队面向化学、物理、生命、地球等科学领域,通过深入研究各学科基础理论,结合最新人工智能理论,探索ai驱动重大科学问题的研究范式,加速人工智能在化学、药物研发、新材料、气象等领域的渗透与落地,赋能各行业发展。来自洛桑联邦理工学院(EPFL)和罗切斯特大学的研究人员开发了 ChemCrow,一种 LLM 化学智能体,受 LLM 在其他领域成功应用的启发,研究人员提出一个 LLM 驱动的化学引擎 ChemCrow,旨在简化药物、材料设计和合成等领域中各种常见化学任务的推理过程。

miracletiger的专栏 2336

动态视频目标追踪系统:基于YOLOv11+DeepSORT的从入门到实战全流程指南

仅保留车辆类别(假设车辆类别ID为2)if det.class_index == 2: # 车辆类别ID通过本指南,你已完成从环境搭建数据准备模型训练到追踪系统与UI界面的全流程,搭建了一套完整的动态视频目标追踪系统。该系统在安防监控、交通管理等场景中具有实用价值,可实现目标的实时稳定追踪。未来,你可尝试结合多模态特征(如目标外观+运动特征)提升追踪鲁棒性,或探索轻量化模型部署(如TensorRT加速),让系统在边缘设备上也能高效运行。

LXY_LOVE36的博客 142

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

MindSpore AI科学计算系列 | 化学深度学习模型ChemGPT的性能评估公式拟合

观察到基于transformer的模型预训练损失可以通过数据集或者模型体量的增加而得到明显的改善,该团队为化学设计了一个名为ChemGPT的生成式大语言模型,以研究数据集和模型大小对预训练损失的影响。借鉴CV和NLP领域利用加速神经架构搜索和超参数传递的技术,如TSE、μTransfer,可以加速深度学习大模型开发的思路,MIT的学者Nathan C. Frey及其团队提出,要研究化学深度学习模型的在不同规模下的能力,需要找到可行并且规范的方法来加速超参数转移和表征神经尺度。

Kenji_Shinji的博客 1583

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

AI生物制药论文解析|ChemLLM A Chemical Large Language Model-water-merged

本文介绍了ChemLLM,这是第一个专门为化学领域设计的大型语言模型(LLM)。ChemLLM旨在解决化学数据和知识的结构化存储问题,提供流畅的对话交互能力。为此,研究团队开发了ChemData,一个用于指令微调的数据集,以及ChemBench,一个涵盖九项核心化学任务的基准测试。实验结果表明,ChemLLM在核心化学任务上与GPT-4的表现相当,并在一般场景中与同规模的LLM相比展现出竞争力。ChemLLM的开发为化学研究提供了新的探索路径,并为科学领域的LLM开发设定了新的标准。

haimianxiaobao11的博客 1086

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

精通Ansible:架构与实战技巧全解析,【AI4S】ChemLLM:一种化学大型语言模型。

Ansible 基于无代理架构,通过 SSH 或 WinRM 协议直接管理节点。以上内容涵盖 Ansible 的核心技术要点,实际应用时需结合场景调整参数和流程设计。

ywivbbjc的博客 301

化学科学催化反应产率预测之大模型回归(Datawhale AI 夏令营)

在本文中,我们学习了如何使用大模型API和下载模型进行催化反应产率预测。通过构造Prompt和并行处理样本,我们实现了对化学反应产率的预测。在未来的研究中,我们可以进一步优化Prompt工程,提高预测精度。欢迎关注我的后续博文,我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

不想宅的冷同学 2097

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 352

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 294

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 619

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 211

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 347

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363
上一篇: 在线教程 | 1 分钟生成万字悬疑小说,LongWriter-glm4-9b 突破长文输出瓶颈
下一篇: 【TVM 教程】在 Relay 中使用外部库
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值