CMLM-仲景:中医大语言模型教程

CMLM-仲景:中医大语言模型教程

项目地址:https://gitcode.com/gh_mirrors/cm/CMLM-ZhongJing


1. 项目目录结构及介绍

CMLM-仲景项目基于Git进行管理,其典型的目录结构展示了该开源模型的核心组成部分和开发流程。以下是对主要目录和文件的简要说明:

  • .gitignore: 此文件定义了在版本控制中不需要跟踪的文件类型或模式,例如编译生成的文件或个人配置。

  • LICENSE: 包含项目的MIT许可证信息,说明了如何合法地使用、修改及分发此代码。

  • README-EN.md: 英文版的项目简介,提供了关于“仲景”这一传统中医领域大语言模型的快速概览,包括其灵感来源、目的和基本使用信息。

  • src: 这个目录通常存放源代码,尽管具体的内部结构未提供,但预期包含模型的实现逻辑、训练和推理相关的Python脚本。

  • 其他可能存在的文件夹和文件: 由于具体文件清单未列出,实际项目中还可能存在数据处理脚本、模型训练配置文件等重要组件。


2. 项目的启动文件介绍

考虑到开源项目的特性,启动文件可能包含以下几个方面:

  • 主入口脚本:假设存在一个名为main.py或类似的脚本,它通常用于模型的测试运行、服务启动或简单的交互演示。这个脚本可能会导入核心模块,初始化模型,并执行一些基本操作来验证安装正确性。

  • 训练脚本(例如train.py):对于开发者而言,这个脚本负责加载数据集、设置模型参数、执行训练循环并将模型保存。

请注意,实际的启动文件名称及功能需要通过阅读具体的项目文档或源码注释来确定。


3. 项目的配置文件介绍

配置文件通常是项目中非常关键的部分,它们允许用户定制化模型的运行环境和行为。在CMLM-仲景项目中,虽然具体的配置文件名没有直接给出,常见的配置文件命名可能包括config.json.yaml格式的文件,例如:

  • 配置文件(如config.yaml:此类文件包含了模型训练和评估时的重要参数,如学习率、批次大小、网络架构详情、优化器设置等。用户可以根据自身需求调整这些配置以优化模型性能。

  • 数据配置(可能命名为data_config.py或在相关数据处理模块内):指定数据集路径、预处理步骤和数据分割方式,对于确保模型能够正确读取并处理数据至关重要。

为了有效利用这些配置,开发者需遵循项目提供的指南,理解每项配置的含义,并根据实际情况进行适当的调整。


以上是基于通用开源项目结构和规范制定的大致框架。具体到CMLM-仲景项目,强烈建议查看最新的GitHub仓库中的README文件和项目文档,以获取最新且详细的指引。

CMLM-ZhongJing 首个中医大语言模型——“仲景”。受古代中医学巨匠张仲景深邃智慧启迪,专为传统中医领域打造的预训练大语言模型。 The first-ever Traditional Chinese Medicine large language model - "CMLM-ZhongJing". Inspired by the profound wisdom of the ancient Chinese medical master Zhang Zhongjing, it is a pre-trained large language model designed specifically for the field of Traditional Chinese Medicine. CMLM-ZhongJing 项目地址: https://gitcode.com/gh_mirrors/cm/CMLM-ZhongJing

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

### 中医大型模型数据集的相关资源 #### 已知的数据集和模型资源 目前存在多个与中医相关的大型语言模型及其配套数据集,这些资源可以用于研究、开发以及进一步优化中医领域的自然语言处理技术。 1. **PromptCBLUE 数据集** PromptCBLUE 是一个专注于医学领域的数据集,适用于评估语言模型的表现。此数据集特别适合用来测试模型在医疗场景中的理解能力[^1]。对于希望深入研究中医方向的语言模型开发者来说,这是一个重要的基础工具。 2. **CMLM-ZhongJing 模型及教程** 这是一个首个针对传统中医领域设计的大规模语言模型。“仲景”模型受到古代名医张仲景理论启发,旨在通过现代AI技术传承和发展中国传统医药学的知识体系[^2]。其项目页面提供了详细的文档和支持材料,方便研究人员下载并利用该模型进行二次开发或实验。 3. **ShenNong-TCM-LLM 开源项目** ShenNong中医药大规模语言模型建立于Meta公司的LlaMA之上,并采用了高效的LoRA方法进行了参数高效微调。除了提供经过训练后的模型外,该项目还公开了一套专门面向中医药领域的指令微调数据集[SoulChat][^3]。这对于那些想要定制化调整现有模型以适应特定应用场景的研究者而言非常有价值。 4. **ChatGLM3 微调框架** 如果计划基于已有的通用大模型来构建自己的中医专属版本,则可以从 THUDM 的 ChatGLM3 出发,在此基础上完成个性化改造工作。具体操作时需注意更新配置文件中的 `base_model_name_or_path` 参数指向最新的微调成果路径[^4]。 #### 如何获取上述资源? - 对于 **PromptCBLUE** ,可以直接访问官方链接下载所需资料。 - 要体验或者贡献给 “仲景” 项目,请前往指定 GitCode 平台上的存储库地址。 - 关心 ShenNong TCM LLM 及其背后逻辑的话,则应该查看对应的 GitHub 主页了解更多信息。 - 实施自定义版 ChatGLM3 方案前务必确认所有依赖项均已妥善安装完毕后再着手实施具体的改动措施。 #### 技术实现建议 当考虑如何有效运用以上提到的各种资源开展实际科研活动时,可能需要综合考量以下几个方面: - 确定目标应用范围内的核心需求是什么?比如诊断辅助还是药方推荐等等; - 根据选定的任务类型挑选最合适的预训练模型作为起点; - 结合手头可得的实际案例素材补充完善相应的标注信息形成高质量的小样本集合供后续精调阶段使用; 最后提醒一点就是始终关注社区动态保持学习状态因为这个快速发展的领域里总会有新的突破不断涌现出来值得我们去探索尝试! ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("path_to_your_chosen_base_model") model = AutoModelForCausalLM.from_pretrained("path_to_your_finetuned_checkpoint") def generate_response(prompt_text): inputs = tokenizer.encode_plus( prompt_text, return_tensors="pt", max_length=512, truncation=True ) with torch.no_grad(): outputs = model.generate(**inputs, num_beams=4, no_repeat_ngram_size=2) decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True) return decoded_output ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鲍柳果Dora

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值