freewebsys的专栏

特别注意是 docker-compose-linux-armv7 版本，linux版本。安装docker 和 docker-compose 命令。

【代码】【ai技术】（3）：使用脚本对树莓派4，上面的ollama qwen 大模型测速，0.5b速度 9.6 words/s，1.8b速度 2.8 words/s，也是非常不错了。

【代码】【ai技术】（3）：树莓派4，成功安装ollama软件，内存4G，推荐使用命令行界面安装，使用raspi-config配置wifi，运行速度飞快。

特别注意是 docker-compose-linux-armv7 版本，linux版本。然后安装docker 执行脚本即可。

【代码】【无标题】在jetson上安装 ollama。

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。使用ollama + chatgpt-web 实现本地大模型执行。然后访问：http://localhost:3002/ 即可。CPU 推荐使用 7b及以下版本。

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快。

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。速度哦还是挺快的，经过一段时间的等待就可以服务启动成功了。

然后经过漫长的编译，就而可以生成了在 build 文件夹。里面有相关的liib库了。框架本质上还是使用了 llama.cpp 项目的。需要编译 llama.cpp 的代码，

然后因为是docker 虚拟环境，需要手动启动服务： ollama serve。项目使用golang+llama.cpp 项目进行开发的。有切换的时间，模型会重新载入到显存。简化了模型的安装，非常的方便。可以发现 支持中文效果也不错。然后启动 gemma:7b。