Ollama入门（windows版本）

最新推荐文章于 2025-02-04 23:30:14 发布

AI_Xie_Edge

最新推荐文章于 2025-02-04 23:30:14 发布

阅读量4.9k

点赞数 11

分类专栏： AIGC 文章标签： windows

本文链接：https://blog.youkuaiyun.com/qq_40600379/article/details/137021930

版权

AIGC 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何通过简单的步骤在本地安装开源语言模型Ollama（包括Gemma版本），以及提供两种运行方式：命令行和WebAPI，包括OpenAI工具包的使用和示例调用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、简介

通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，如gemma。
在这里插入图片描述

二、安装方式

1、访问官网，点击【Download】进行下载https://ollama.com/
2、目前支持Linux、Mac和windows
3、github链接：https://github.com/ollama/ollama
在这里插入图片描述

三、下载并运行模型（命令行方式）

1、点击【View logs】进入ollama目录
2、运行gemma:2b模型（如未下载，会自动下载）
3、提问

ollama run gemma:2b

在这里插入图片描述

四、webapi方式运行

1、webapi方式运行

./ollama serve

2、如需指定端口，可在环境变量中进行配置
在这里插入图片描述
3、安装openai工具包

pip install openai

4、openai格式调用ollama部署的接口

import openai
# 设置api_base
openai.api_key = "111" #不可为空，为空会报错
openai.api_base = "http://127.0.0.1:8000/v1"
# 2. 设置提示词
prompt = """
你是谁？

"""

# 3.调用（可切换模型）
# resp = openai.ChatCompletion.create(model="llama2", messages=[{"role": "user", "content": prompt}], stream = False)
resp = openai.ChatCompletion.create(model="llama2-chinese", messages=[{"role": "user", "content": prompt}], stream = False)
# resp = openai.ChatCompletion.create(model="gemma:7b", messages=[{"role": "user", "content": prompt}], stream = False)

# 4.输出
print(resp.choices[0].message.content)