基于Llama 3的最强开源医疗AI模型OpenBioLLM-Llama3，刷新榜单

关注

原创最新推荐文章于 2026-04-28 12:58:06 发布 1.6k 阅读 AI 写同款· GEO 优化 ›

CancerLLM: 癌症领域的大型语言模型 值得注意的是，即使是像Llama3-OpenBioLLM-70B和ClinicalCamel-70B这样拥有更多参数的模型，也未能超越Bio-Mistral 7B，这表明光有更大的参数规模并不能保证更好的结果。一个聚焦于癌症的LLM，整合了专门的癌症知识，可以显著改善诊断和治疗方案的制定。模型使用了如精确匹配、BLEU-2和ROUGE-L等评估指标来微调和评估，在14个基准模型上表现优越，并显示出对反事实和拼写错误的鲁棒性，显著高于现有医学大语言模型的精确性、召回率和F1分数。阅读详情

项目概述

OpenBioLLM-70B是一款先进的开源生物医学大型语言模型，由Saama AI实验室基于Llama 3技术精心开发并微调。此模型专为生物医学领域设计，利用尖端技术，在多种生物医学任务中实现了最先进的性能表现。

背景：

Saama AI实验室推出的OpenBioLLM-Llama3-70B和OpenBioLLM-Llama3-8B在Hugging Face榜单中刷新了医疗AI大模型的记录，位居榜首。此模型的生物医学领域测试性能超越了GPT-4、Gemini、Meditron-70B、Med-PaLM-2等行业领先模型，展示了其卓越的专业能力和广泛的应用前景。

主要功能：

🏥 医学专业化：OpenBioLLM-70B针对医疗和生命科学领域的特定语言和知识需求进行了定制，通过在广泛的高质量生物医学数据上进行精细微调，使其能够以领域特定的准确性和流畅性理解和生成文本。
🎓 卓越性能：OpenBioLLM-70B具备700亿参数，性能优于其他同规模的开源生物医学语言模型，并在生物医学基准测试中比GPT-4等大型专有及开源模型表现更佳。
🧠 先进的训练技术：此模型在Meta-Llama-3-70B-Instruct的基础上进一步构建，整合了DPO（直接偏好优化）数据集和定制的医学指导数据集。其训练过程包括了策略优化和精确微调，以适应生物医学应用的关键能力和偏好。

在这里插入图片描述

发布详情：

模型规模：700亿参数
量化：提供了优化的量化版本，以便于部署
语言：英语（NLP）
开发团队：Saama AI实验室的Ankit Pal（Aaditya Ura）领导开发
许可证：Meta-Llama许可证
基于模型：从Meta-Llama-3-70B-Instruct微调而来

OpenBioLLM-70B标志着在为生物医学社区民主化先进语言AI方面迈出了重要一步。通过利用Llama-3等领先开源项目的最先进架构和训练技术，我们创造了一个强大的工具，加速了在医疗保健和生命科学中的创新与发现。我们非常高兴能将OpenBioLLM-70B与全球的研究人员和开发者共享。

安装与配置

前提条件

需要Python环境，并安装transformers和torch库。

安装步骤

克隆仓库：

git clone https://github.com/aaditya/OpenBioLLM-Llama3-70B.git

安装依赖：
```
pip install -r requirements.txt
```
运行项目：
```
python run_model.py
```

配置说明

确保所有配置文件根据您的系统环境正确设置。

使用指南

使用Transformers库

在使用OpenBioLLM-70B时，请确保使用由Llama-3指令版本提供的确切聊天模板。若不按此模板使用，可能会导致模型性能下降。模型输出在少数情况下可能较为详细，建议将温度参数设置为0，以减少此类情况的发生。

示例代码

使用Transformers库来加载和运行OpenBioLLM-70B模型的示例：

import transformers
import torch

model_id = "aaditya/OpenBioLLM-Llama3-70B"
pipeline = transformers.pipeline(    
    "text-generation",    
    model=model_id,    
    model_kwargs={"torch_dtype": torch.bfloat16},    
    device="auto",
)

messages = [    
    {"role": "system", "content": "You are an expert and experienced from the healthcare and biomedical domain with extensive medical knowledge and practical experience. Your name is OpenBioLLM, and you were developed by Saama AI Labs. who's willing to help answer the user's query with explanation. In your explanation, leverage your deep medical expertise such as relevant anatomical structures, physiological processes, diagnostic criteria, treatment guidelines, or other pertinent medical concepts. Use precise medical terminology while still aiming to make the explanation clear and accessible to a general audience."},    
    {"role": "user", "content": "How can i split a 3mg or 4mg waefin pill so i can get a 2.5mg pill?"},
    ]
prompt = pipeline.tokenizer.apply_chat_template(    
    messages,     
    tokenize=False,     
    add_generation_prompt=True
)
terminators = [    
    pipeline.tokenizer.eos_token_id,    
    pipeline.tokenizer.convert_tokens_to_ids("")
]
outputs = pipeline(    
    prompt,    
    max_new_tokens=256,    
    eos_token_id=terminators,    
    do_sample=True,    
    temperature=0.0,    
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

训练过程和性能

OpenBioLLM-70B的训练采用了以下超参数：

学习率：0.0002
学习率调度器：余弦衰减
训练批次大小：12
评估批次大小：8
GPU类型：H100 80GB SXM5
设备数量：8
优化器：adamw_bnb_8bit
学习率预热步数：100
训练周期数：4

框架版本：

Transformers 4.39.3
Pytorch 2.1.2+cu121
Datasets 2.18.0
Tokenizers 0.15.1

基准测试结果

OpenBioLLM-70B在多个生物医学领域的基准测试中展示了卓越性能，与GPT-4、Gemini、Meditron-70B、Med-PaLM-1和Med-PaLM-2等较大模型相比，其在9个不同的生物医学数据集上取得了领先的成绩，平均得分为86.06%，尽管其参数数量显著较少。模型在领域特定任务，如Clinical KG、Medical Genetics和PubMedQA中的强劲表现，凸显了其在捕捉和应用生物医学知识方面的有效性。

🔥 详细医学科目精确度：OpenBioLLM-70B在以下领域显示了其优越的专业能力：