DeepSeek开源大模型的发布已经在技术社区引发巨大轰动。如今,开发者们无需接入Claude、ChatGPT等在线AI模型,即可轻松实现本地应用程序构建。换言之,开源大模型准入门槛的持续降低,为企业应用程序与生成式AI的集成打通了机会之桥。
在本文中,我们将学习如何在个人设备上本地运行开源模型,进而构建一款由React和NodeJS驱动的全栈应用程序。它能帮助大家快速分析简历内容,并做出明智的招聘决策。在构建之前,我们先聊聊开源大模型的优势所在。
开源大语言模型的优势
与专有模型相比,开源大模型拥有以下几个关键优势:
经济高效且无需许可证
开源大模型极具成本效益,无需特殊许可证。截至本文撰稿时,OpenAI o1的每百万输出token成本为60美元,而开源DeepSeek R1的成本仅为2.19美元。
可定制、可微调
开源大模型可轻松进行微调以满足独特的业务需求,在更多特定领域支撑业务用例。
增强数据安全性与隐私性
宝贵的个人数据无需被上传至第三方服务器,而仅保留在本地设备或企业网络之内,因此应用程序更加安全。此外,开源模型还可进行微调以消除数据偏差。
社区驱动,摆脱供应商锁定
开源模型享有广泛的社区支持,受益于快速功能开发,也避免了专有模型受供应商锁定、且高度依赖供应商提供功能更新的弊端。
在了解上述背景信息后,下面直奔主题,了解如何使用DeepSeek R1开源模型、Node.js和React构建应用程序。
项目与架构概述
我们的目标是构建一款简历分析器应用,快速把握上传简历中的基本信息与申请者的优缺点。DeepSeek R1大模型负责分析上传的简历并提供反馈。大家可通过下图了解这款应用的基本架构:
架构示意图
用户界面由React开发,通过REST API与基于NodeJS的后端进行通信。之后,NodeJS后端将用户请求发送至由Ollama托管的DeepSeek R1。整个技术栈可在单一设备上运行,亦可跨多个容器托管以支持更复杂的用例。
前期准备
- 要运行此项目,你需要一台具备一定性能的设备,最好搭载英伟达独立显卡。此项目已在配备英伟达4090RTX的Windows设备和M2 MacBook Pro上通过开发测试。
- 你还需要在设备上安装NodeJS。本项目使用NodeJS 22.3.0版本,你可使用node -v 命令验证NodeJS的安装情况。
- 你还需要选定一款编辑器以处理代码。本示例中使用Visual Studio Code,推荐你使用同款工具。
在本地设置并运行DeepSeek
要在本地运行DeepSeek R1,请遵循以下步骤:
- 从官方网站处(Ollama)安装Ollama。
- 安装完成后,即可使用设备终端上的 ollama run 命令运行模型。
- 运行你选定的DeepSeek模型。本教程中使用DeepSeek R1 8B参数模型。你可使用 ollama run deepseek-r1:8b命令运行该模型。
- 如果你的硬件规格低于前期准备部分的最低配置,亦可尝试运行7B及1.5B参数模型,但输出质量可能受到影响。
- 模型首次运行可能须耗费一定时间,特别是下载过程。模型运行之后,你可直接在终端中向其提问并获取输出。你可参考下图查看DeepSee