0 大模型本地部署

        之前对大模型介绍以及微调写了很多，但是没有一个成熟的应用案例以及体系，实际中我们对大模型了解然后知道怎么使用就行了。从现在我们一起开始基于大模型应用学习，如何落地这些大模型。

        首先是Agent（智能体）：大模型应用中的Agent是指基于大型预训练模型开发的智能体，它们能够执行各种复杂的任务，如自然语言处理（NLP）、图像识别、语音处理等。这些Agent通常是通过深度学习框架和大量的数据进行训练，以获得对特定领域问题的理解能力和解决能力。

      很多场景我们为了保证数据的安全性不会直接用过API的方式调用大模型，需要用户配置自己的本地大模型，下面我们介绍如何使用ollama 部署自己的大模型；

1、什么是ollama

ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目，专注于开发和部署先进的大型语言模型（LLM）。

官网地址：https://ollama.com/

github地址：GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

1、特点

1）开源:

Ollama 是一个完全开放源代码的项目，这意味着任何人都可以查看、修改和贡献代码。

2）易用性:

项目旨在简化语言模型的训练和部署流程，使得即使是那些没有深度学习背景的人也能轻松使用。

3）高性能:

Ollama 支持高效地训练和运行大规模的语言模型，利用现代硬件加速计算。

2、功能

1）模型训练

提供工具和指南来训练自己的语言模型。

2）模型部署

提供部署语言模型的工具，使其能够在生产环境中使用。

3）社区支持

社区成员可以分享经验、技巧，并共同改进项目的各个方面

2、ollama的使用（使用docker）

1、安装ollama

网址：GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

1）下载