atwdy的博客

本次测试目标为跑通基于embedding的文本语义匹配的基本流程，测试流程主要分为：=> 1）通过预训练模型生成embedding=> 2）保存embedding到文件=> 3）基于embedding文件构建faiss索引并持久化保存=> 4）加载faiss索引进行语义化检索匹配。

ms-swift是一个针对大模型微调的高层封装框架，旨在简化训练流程、统一接口并集成多种微调技术，如 LoRA、QLoRA、Prefix Tuning等。通过ms-swift实现LoRA微调，仅需配置参数，无需关心底层实现。使用ms-swift，通过lora方式微调下载的基座模型，产出微调的权重文件。使用下载的基座模型，先测试一下推理效果作为合并LoRA后推理效果的对照，参考。本次测试目的为跑通模型部署，微调及推理全流程，首先下载模型到本地，参考。圈起来的就是最终的微调结果，在推理时加载改结果就可以了。

每个模型的详细信息中会有API示例（），需要做的就是申请自己的API key就行了，过程中可能需要。。