
LLM
文章平均质量分 67
Lee Howard
江湖人称浩哥~现围绕Java技术栈展开,目标是全栈工程师。
展开
-
个人PC部署体验王炸产品DeepSeek-R1
官网提供的在线版DeepSeek-R1模型在回答问题时表现出色,虽然有时推理过程较长,但整体实力强劲。本地部署的DeepSeek-R1模型(14B量化版)在测试中表现不佳,答案多次不准确。这可能与模型的参数量有关。因此,对于想要在个人PC上部署DeepSeek-R1模型的用户来说,如果电脑资源有限,可能只能运行小参数的量化版模型。然而,如果想要获得更好的性能和准确性,建议尝试运行更大参数的模型。原创 2025-01-31 10:41:13 · 1158 阅读 · 0 评论 -
Ollama整合open-webui
官方安装地址:https://docs.openwebui.com/getting-started/册的第一个用户默认为管理员账号,以后注册的账号角色均为pending(待分配权限)。第一次打开的时候,需要注册一个账号。(如admin/admin)熟悉docker的同学可以采用该方式。打开地址:127.0.0.1:8000。有两种安装方式,docker和源码。本文以源码的形式进行安装。熟练使用python。原创 2024-07-22 10:33:59 · 1402 阅读 · 0 评论 -
采用Ollama运行本地大模型
羊驼,快速的在本地电脑上运行大模型,只需要下载一个应用包即可,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,无需安装额外的环境依赖和编译等操作。支持Linux、Windows、Macos。Ollama 将模型权重、配置和数据捆绑到一个包中,定义成 Modelfile。它优化了设置和配置细节,包括 GPU 使用情况。原创 2024-07-22 10:31:36 · 1368 阅读 · 0 评论 -
SpringBoot整合零一万物模型API进行多轮对话
零一万物官网:https://www.01.ai/cn零一万物大模型开放平台:https://platform.lingyiwanwu.com/原创 2024-04-18 20:46:31 · 762 阅读 · 0 评论 -
SpringBoot整合Qwen(通义千问)模型API进行多轮对话
在阿里云注册账号,申请api-key。原创 2024-04-17 14:20:06 · 2433 阅读 · 0 评论