初探Ollama部署llama3集成SpringAI

初探Ollama部署llama3集成SpringAI

概述

    AI的迸发式增长，我们已经体会了文心一言，通译千问等国产大模型，在这里我比较好奇如何部署一个自己本地大模型来集成在自己的Spring boot项目中呢。由此产生了写这篇记录，我在这里会通过OpenAI公司开发的Ollama来进行本地大模型部署，并测验它的LLM model 的聊天能力，并使用Spring AI集成到我们的项目中来。

1. 什么是Ollama？

    Ollama是一款功能强大的开源框架，让用户可以在自己的电脑上轻松部署和运行大型语言模型。它就像一个AI模型的“家”，你可以在里面放进各种各样的模型，然后让它们为你生成文本、翻译语言、写代码，甚至还能帮你创作故事。Ollama最大的优点就是方便易用，即使你对编程不太熟悉，也可以很快上手。

    相比于将模型放在云端，Ollama更注重用户的数据隐私和安全。通过本地部署，你可以完全控制自己的数据，不用担心它们被泄露。此外，Ollama还支持离线使用，也就是说，即使没有网络连接，你也可以随时随地使用你的AI模型。这对于那些对网络环境要求较高，或者希望保护隐私的用户来说非常有吸引力。

2. 安装Ollama

Ollama有很多种安装方式，主要的有三种，通过安装文件，使用命令行，以及Docker部署。这里我介绍的式通过安装包在Windows 或者 Mac上的部署方式。

• 进入Ollama官网：https://ollama.com/
• 点击“Download”开始下载
• 网站会给出操作系统环境的选择，自己下载适合的安装文件（支持Linux，Windows，Ma