一、ollama和Open-WebUI简介
随着人工智能技术的飞速发展,大型语言模型(LLM)在各个领域的应用日益广泛。openai在国内用户使用上还有一定门槛,随着技术进步发展国内外开源项目也越来越广泛,部署并拥有自己的一个大模型问答是件很酷的事情,大模型部署在本地,也避免了问答数据泄露等问题。本文将使用开源技术Ollama和Open-WebUI教你轻松基于日常办公PC机部署一个自己私有的大模型问答系统。Ollama和Open-WebUI作为两款强大的工具,能够帮助用户在本地轻松部署和运行LLM。
二、运行环境
处理器 i5-1155G7 8c
机带 RAM 16.0 GB (15.8 GB 可用)
系统类型 版本 Windows 10 专业版 版本号 21H2
三、安装Ollama并下载模型
访问:https://www.ollama.com/download
选择windows版本下载Ollama安装包,并在电脑执行安装。
安装完成后,访问ollama官网进行模型的下载和安装。
打开win本机命令行执行命令:
ollama run qwen2.5
模型开始下载并自动安装执行,模型执行起来以后即可在命令行与其对话。