eihh23333的博客

创新实训最开始的拟题工作是我负责的，最开始是因为在通知里面提到了法律相关的任务，而在我的印象中，法律就是引用大量的案例（经验），并且在法条（逻辑）的框架下进行判罚，而且法律比较火的方向就是摘要提取，刑期预测以及简单的模拟律师（类似客服机器人的想法？在一切目标都有很好的前置条件的情况下做出的“法律文书专家系统”的题目决策。目标就是做一个轻量化的平台来实现以上的目标。

它的主要作用是将 Python 中的数据渲染到 HTML 页面中。但在本项目中jinja2可以用于自动化生成prompt模板。代码首先指明了存放prompt的目录，然后根据template_name找到对应的prompt，再将对应的属性进行填充。它是一种利用语言模型的能力，通过构造特定的输入，来达到高质量输出的技术手段。相关法条通过使用rag技术查询语义相关的法条，然后输入模型对结果进行预测。【结束符号】用于标注结果，将模型的输出于prompt分开。其中的案件描述以及相关法条就需要进行填充。

已知我们的项目有三个功能法律文书摘要（摘要）、刑期预测(预测)、法律问答（问答）。并且针对三个功能都训练了对应的lora。但是同时挂载多个lora会导致溢出，并且只保留最后一个lora，导致最终产生效果的只有最后一个lora。为了增益模型的反馈，我使用的方案是请求端请求服务后再挂载lora，当请求另一个服务时，清除缓存，重新加载模型并加载lora。

当请求段传回的conversation_id为空时创建一个conversation否则根据conversation_id来找到对应的conversation。add_message(self,conv_id:str,message:Message): 通过conv_id找到对应的conversation后插入message。get_conversation(self,conv_id:str):通过conversation_id找到对应的conversation。id：对不同的会话记录使用id来标识。

定义：检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。目的：通过提供相关领域数据库通过问题检索信息，将相关信息合并到Prompt中，增强模型的专业性。深入浅出RAG技术：RAG=检索技术+LLM提示//LLM提示就是之前文章中提到过的promt工程，这里不再赘述，主要理解检索技术。

FastAPI是一个用于构建 API 的现代、快速（高性能）的 web 框架，使用 Python 并基于标准的 Python 类型提示。安装脚本/bin/bashLLaMA-Factory项目提供了多个高层次抽象的调用接口，包含多阶段训练，推理测试，benchmark评测，API Server等，使开发者开箱即用。安装脚本/bin/bash执行脚本后如果返回llamafactory-cli的版本号，那么代表校验成功。注意llamafactory依赖（4.51.0peft0.15.1）

以上就是模型训练需要的相关知识，总的来说主要需要设置的参数Lora的参数以及训练参数，Lora参数的目的在于在训练的过程中降低GPU负荷。训练参数的目的在于加速训练速度以及影响训练的效果过低和过高都会影响模型训练速度以及模型的训练效果。最终将所有的参数载入到peft的trainer当中进行训练即可。import osTrainer,TaskType# ========== 基础配置 ==========# ========== 量化 & 加载模型 ==========

登录官网，并注册（学生认证之后有优惠，新用户好像也有30天优惠）注册完成后要向钱包内充值，充值完成后点击算力市场即可租赁算力。选择好想要的显卡后点击蓝色按钮即可。根据页面信息，免费提供50GB的硬盘存储空间，扩容的话需要支付额外的费用，此外，还可以选择框架名称/框架版本/python版本/CUDA版本，由于使用的DeepSeek版本大小仅为5GB因此不需要扩容，本项目使用的镜像版本为PyTorch / 2.1.0 / 3.10(ubuntu22.04) / 12.1完成设置后创建创建并开机即可。

在本项目中，我主要负责大模型的本地部署，个人工作主要围绕。