2024山软创新实训：软件系统架构

软件架构

本文着重介绍本应用：基于开源LLM的易学大模型软件系统的架构。在经过2个月的探索、选型、实验、开发后，我们团队终于把整个系统的各块拼图搭建了起来，现在剩下的是集成、评测、优化和部署的工作。

1. Distributed System

整个项目的逻辑架构是分布式的，总共分为3.5层：

1. 客户端应用：主要负责最外层web服务的图形化界面与用户接口
2. web服务端应用：负责基本的增删改查、信息维护。以及对LLM与向量知识库的集成和整合
3. LLM && RAG Kernel：这里涉及到最内核的部分，我们通过第三方框架（LangChain）落地实现了RAG技术，并且通过开源软件和一些具有强力算力的设备进行了开源通用LLM的微调：
   1. RAG落地实现：这个子模块负责初始化向量知识库，并对外（web服务端应用）提供各种接口，包括上传知识文件，检索知识文件，更新知识文件，获取知识文件列表等等。
   2. LLM微调与部署：我们利用第三方开源软件以及智谱AI提供的chatglm3-6B，进行大模型的微调，在此过程中，利用一些领域前沿技术，进行语料的生成与准备。

基于开源LLM的易学大模型软件系统架构图

建议点击图片放大查看 

2. 各模块功能解析与实现细节

客户端应用

技术选型：Node.js + Vue3.js + 各类开源前端组件/样式/界面库 

Node.js (aliyun.com)

Vue.js - 渐进式 JavaScript 框架 | Vue.js

实现细节：

1. 项目实训5-27 前端框架搭建 JFM
2. 创新设计记录-3：路由守卫与请求拦截 LDL
3. 创新设计记录-5：博客功能-前端 LDL​​​​​​
4. 创新设计记录-7：论坛 LDL
5. 创新设计记录-8：博客收藏 LDL
6. 创新设计记录-9：论坛-博客展示 LDL