LlaSMol LLM for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset

已于 2025-06-17 09:24:45 修改
阅读量195 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM for chemistry LLM Daily 文章标签： 语言模型 自然语言处理
于 2024-04-01 14:22:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137231299
LLM Daily 同时被 3 个专栏收录
1689 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

LLM for chemistry
4 篇文章
订阅专栏
本文介绍了LlaSMol，一个通过大规模、全面、高质量的化学指令数据集SMolInstruct进行调优的LLM。LlaSMol在14个化学任务上超越GPT-4，接近任务特定SoTA模型。研究还揭示了参数训练的影响。

本文是LLM系列文章，针对《LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset》的翻译。

LlaSMol：用大规模、全面、高质量的指令调优数据集推进大型化学语言模型

文章主要内容总结

  1. 研究背景与问题：化学在药物发现、材料科学等领域至关重要，但大型语言模型（LLMs）如GPT-4在化学任务上表现不佳，现有研究表明其性能远低于任务特定模型，尤其是对分子表示SMILES的理解不足。
  2. 数据集构建：提出SMolInstruct数据集，包含14个化学任务（如名称转换、性质预测、化学反应等）和超过300万样本。数据来自PubChem、MoleculeNet等多个来源，并经过严格质量控制（如过滤无效SMILES、纠正错误信息）。
  3. 模型开发：基于SMolInstruct微调开源LLMs，形成LlaSMol系列模型。实验表明，Mistral作为基础模型效果最佳，LlaSMol在多项任务上性能超过GPT-4和Claude 3 Opus。
  4. 关键发现：
    • 规范SMILES可提升模型性能，使用SMILES比SELFIES更有效。
    • 多任务训练有助于知识共享，但各任务相对独立。
    • LlaSMol仅微调0.58%参数即可接近任务特定模型性能，具有巨大潜力。
  5. 局限性与未来方向：分子描述任务的评估不够准确，模型泛化能力未深入研究，未来将优化训练过程并扩展应用场景。

创新点

  1. 大规模高质量数据集：SMolInstr
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LlaSMol—— 建立一个大型、高质量的指令调整数据集 SMolInstruct 用于开发一个化学任务的大语言模型
知来者逆的博客
12-03 1649
化学是一门基础科学，支撑着现代生活的许多方面，包括药物发现、材料科学和能源生产。为促进该领域的研究和应用，图神经网络和变压器模型等深度学习模型已被应用于各种化学任务，如反应预测、逆合成和性质预测。然而，这些模型往往是针对特定任务的模型，很难适应不同的任务。另一方面，GPT-4、Llama 系列和 Mistral 等大型语言模型已成为通用基础模型，并在自然语言处理任务中显示出巨大的能力。然而，当应用于化学任务时，它们的能力仍然有限。
科学LLM—科学大语言模型综述，原文阅读：A Comprehensive Survey of Scientific Large Language Models and Their Applicatio
小小帅
09-04 2428
1.纯文本：1.1.纯文本—数据集：科学LLM 最常用的预训练语料库是来自书目数据库的研究论文，例如AMiner、Microsoft Academic Graph (MAG)和 Semantic Scholar。其中一些来源（S2ORC）包含论文全文信息，而其他来源仅包含标题和摘要。1.2.纯文本—Model分类（预训练方式）：早期的科学LLM模型在预训练期间以自监督的方式利用论文文本，旨在从大规模未标记语料库中获取科学知识。
LLM在AI4SCIENCE中的应用
miracletiger的专栏
02-06 2151
上海ai for science团队面向化学、物理、生命、地球等科学领域，通过深入研究各学科基础理论，结合最新人工智能理论，探索ai驱动重大科学问题的研究范式，加速人工智能在化学、药物研发、新材料、气象等领域的渗透与落地，赋能各行业发展。来自洛桑联邦理工学院（EPFL）和罗切斯特大学的研究人员开发了 ChemCrow，一种 LLM 化学智能体，受 LLM 在其他领域成功应用的启发，研究人员提出一个 LLM 驱动的化学引擎 ChemCrow，旨在简化药物、材料设计和合成等领域中各种常见化学任务的推理过程。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-20 1487
​ LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集 目录 相关文章 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译 3 Datasets指令微调数据集 相关文章 LLMs：《Instruction T
LLMs之Text2SQL：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-25 1609
​ LLMs之T2S：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 目录 《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 Abstract 1、Introduction V Expectations期望 《Next
《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》速读
m0_60388871的博客
03-03 875
由于不同数据集的规模差异巨大（从几千到几十万样本不等），简单均匀混合会导致模型对小数据集过拟合、对大数据集欠拟合。多任务学习（multitask learning）**在视觉-语言任务中的效果，证明指令调整是提升零样本泛化能力的关键。，覆盖11种任务类别，并将其转化为统一的指令调整格式。这是迄今为止视觉-语言指令调整研究中使用的最广泛的数据集集合。，通过将文本指令同时输入到Q-Former中，使其能够根据具体指令动态调整提取的视觉特征。传统的视觉-语言模型（如BLIP-2）在提取视觉特征时采用的是。
论文翻译：Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models
JieBao11的博客
10-15 425
最近，多模态大语言模型（MLLMs）取得了巨大成功，它使得大语言模型（LLMs）能通过视觉指令微调来理解图像。然而，现存的视觉指令微调技术只使用图像-语言指令数据来对齐语言和图像模态，无法实现更加细粒度的跨模态对齐。在本篇论文中，我们提出了位置增强视觉指令调优技术（PVIT），通过整合一个额外的区域级视觉编码器来扩展MLLMs的功能。这项整合能促使MLLM形成对图片的更详细的理解。除此之外，为了有效地实现LLM和视觉模块的细粒度对齐，我们还设计了多种数据生成策略，用来构建一个“图像-区域-语言”指令数据集。
LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-07 3266
​ LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读 目录 相关文章 《Baichuan 2: Open Large-scale Language Models》翻译与解读 Abstract摘要 1Introduction引言 2Pre-training预训练 3 Alignment对齐=SFT+RLHF(RM+RL)
LLMs：awesome-LLM-resourses项目(比较好的LLM资料总结—数据/微调/推理/评估/体验/RAG/Agent/搜索/书籍/课程/教程/论文和技巧)的简介、分类、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-12 2017
​ LLMs：awesome-LLM-resourses项目(比较好的LLM资料总结—数据/微调/推理/评估/体验/RAG/Agent/搜索/书籍/课程/教程/论文和技巧)的简介、分类、使用方法之详细攻略 目录 awesome-LLM-resourses项目的简介 awesome-LLM-resourses项目的分类 awesome-LLM-resourses项目的使用方法 awesome-LLM-resourses项目的简介 2024年9月，该GitHub项目名为
Understanding Low-Rank Adaptation (LoRA) for Efficient Fine-Tuning of Large Language Models
bbbeoy的专栏
07-26 1290
This blog post will go into detail about how LoRA works to fine-tune LLMs, following the methodology set out in the “LoRA: Low-Rank Adaptation of Large Language Models” paper
[读论文] DISC-LawLLM: Fine-tuning Large Language Models for Intelligent Legal Services
大家好~我是SP_FA~
07-26 1731
我们提出了DISC-LawLLM，这是一个利用大型语言模型的智能系统，以提供广泛的法律服务。我们采用法律三段论提示策略，构建中国司法领域的监督微调数据集，并建立具有法律推理能力的 Law LLM。我们通过检索模块增强了 LLM，以增强模型获取和利用外部法律知识的能力。提出了一个综合性法律基准，即 DISC-Law-Eval，用于评估客观和主观因素的智能法律系统。DISC-Law-Eval 的定量和定性结果表明，我们的系统在为不同法律场景中的各种用户提供服务方面是有效的。
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
nmdbbzcl的博客
11-23 1012
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
NLP基础(十)_词向量
weixin_48870215的博客
11-23 711
NLP基础(十)_词向量
PaLM：Pathways 驱动的大规模语言模型 scaling 实践
m0_65010824的博客
11-24 549
本文是对论文《PaLM: Scaling Language Modeling with Pathways》的深度解读。在大模型研究领域，如何实现高效规模化训练并解锁复杂任务能力，是核心挑战。Google Research 团队提出的 PaLM 模型，以 5400 亿参数稠密 Transformer 为基础，借助 Pathways 系统实现跨 TPU Pod 高效训练，在少样本推理、代码生成等任务中刷新 SOTA，为大模型规模化研究提供关键参考。
InstructBLIP：面向通用视觉语言模型的指令微调技术解析
最新发布
m0_65010824的博客
11-24 467
本文是对论文《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》的深度解读。在多模态领域，如何构建具备通用指令遵循能力的视觉语言模型，是亟待解决的关键挑战。Salesforce Research 等团队提出 InstructBLIP 框架，通过指令感知 Q-Former 与平衡数据集采样策略，实现了多样化视觉语言任务的高效泛化，显著提升零样本与下游微调性能，为通用多模态模型研发提供范式。
Fast Distributed Inference Serving for Large Language Models
nihaoakekeke的博客
11-21 823
大规模语言模型（LLMs）驱动了以ChatGPT为代表的新一代交互式AI应用。这类应用的交互特性要求LLM推理具备低延迟特性。现有LLM服务系统对推理任务采用运行至完成的处理模式，存在队头阻塞问题且导致延迟较高。本文提出FastServe——一个面向LLMs的分布式推理服务系统。该系统利用LLM推理的自回归特性，实现了以单个输出令牌为粒度的抢占机制。通过采用具备跳过连接功能的多级反馈队列调度器，FastServe运用抢占式调度策略有效降低延迟。
NLP基础(九)_N-gram模型
weixin_48870215的博客
11-22 487
NLP基础(九)_N-gram模型
【论文阅读19】-用于PHM的大型语言模型：优化技术与应用综述
Ma040713的博客
11-21 847
一种基于海量文本数据训练的、拥有数十亿甚至更多参数的深度学习模型，能够理解、生成和处理自然语言。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 51
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
few-shot 例子 llm
01-05
### Few-Shot Learning Examples in Large Language Models (LLM) In the context of large language models, few-shot learning allows these models to perform tasks effectively even when provided with a limited number of training examples. This capability is particularly valuable as it reduces the need for extensive labeled data and demonstrates robust generalization abilities. #### Example 1: Tabular Data Reasoning For reasoning over tabular data, LLMs like GPT-3 can be prompted using only a handful of examples within the input prompt itself[^2]. For instance: ```plaintext Table: | Name | Age | Occupation | |------|-----|------------| | John | 30 | Engineer | | Jane | 25 | Doctor | Question: Who is older between John and Jane? Answer: John. ``` The model learns from this small set of structured inputs and applies similar logic to new questions about different tables without requiring additional specific training on each table format or content type. #### Example 2: Guided Active Learning for Debiasing Another application involves guided active learning strategies aimed at reducing biases present in pre-trained LLMs by identifying biased samples through counterfactual in-context learning methods[^3]: ```python def identify_biased_samples(model_output): # Analyze output patterns that indicate potential bias pass biased_examples = [] for sample in dataset: prediction = model(sample) if identify_biased_samples(prediction): biased_examples.append((sample, "Biased")) # Use identified biased examples to refine model behavior further via targeted retraining ``` This approach leverages few-shot capabilities not just for task execution but also for improving model fairness across various applications. #### Example 3: One-Shot Selection of High-Quality SFT Data When selecting high-quality instruction-following instances for fine-tuning purposes, one-shot learning techniques help evaluate individual command demonstrations based on their effectiveness in enhancing overall performance across diverse downstream tasks[^4]. ```json { "instruction": "Summarize the following article...", "input_text": "...", "output_summary": "..." } ``` By assessing how well single examples contribute towards better outcomes during evaluation phases, researchers can strategically choose optimal datasets for specialized tuning processes.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值