Ollama：一个在本地部署、运行大型语言模型的工具

Llama-Turbo Llama-Turbo 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.5k累计阅读 1.6k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄4年
关注
原创 最新推荐文章于 2026-07-11 09:12:59 发布 1.5k 阅读 AI 写同款· GEO 优化 ›
本地部署免费开源助手Ollama 全方位测评：图像识别、视频分析，打造多模态视觉AI助手！（全面测试并击败“无”），本地跑大模型，需要什么配置，YOLO V10 一键整合包 解压即用 本地视觉识别大模型 一键本地部署 有没有显卡都能玩，小模型的时代终于来了，1.5B参数量模型也能轻松构建GraphRAG，Ollama+Gemma2:9b本地开源大模型输出OpenAI兼容API作为本地翻译引擎工作流|Pot|OpenAI-Translator|沉浸式翻译|喂饭教程，双4090部署qwen72b大模型 每秒150tokens。 阅读详情

概述

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。

官方网站：https://ollama.com/

Github：https://github.com/ollama/ollama

安装

Ollama支持macOS、Linux和Windows多个平台运行

macOS：下载Ollama

Windows：下载Ollama

Docker：可在Docker Hub上找到Ollama Docker镜像

Linux：因为使用服务器，这里便以Linux操作系统使用为例记录说明

其中Linux通过命令直接安装如下：

root@master:~/work# curl -fsSL https://ollama.com/install.sh | sh
>>> Downloading ollama...
######################################################################## 100.0%##O#-#                                                                        
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

查看ollama的状态

root@master:~/work# systemctl status ollama
● ollama.service - Ollama Service
     Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: enabled)
     Active: active (running) since Thu 2024-05-16 07:48:52 UTC; 19s ago
   Main PID: 1463063 (ollama)
      Tasks: 19 (limit: 120679)
     Memory: 488.7M
        CPU: 6.848s
     CGroup: /system.slice/ollama.service
             └─1463063 /usr/local/bin/ollama serve

May 16 07:48:52 master ollama[1463063]: Couldn't find '/usr/share/ollama/.ollama/id_ed25519'. Generating new private key.
May 16 07:48:52 master ollama[1463063]: Your new public key is:
May 16 07:48:52 master ollama[1463063]: ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIKkP+MSQgroycM4iPUhDAUW02qwhEIB4vtANecwzN3En

安装成功后执行ollama -v命令，查看版本信息，如果可以显示则代表已经安装好

root@master:~# ollama -v
ollama version is 0.1.38

配置

编辑vim /etc/systemd/system/ollama.service文件来对ollama进行配置

1.更改HOST

由于Ollama的默认参数配置，启动时设置了仅本地访问，因此需要对HOST进行配置，开启监听任何来源IP

[Service]
# 配置远程访问
Environment="OLLAMA_HOST=0.0.0.0"

2.更改模型存储路径

默认情况下，不同操作系统大模型存储的路径如下：

macOS: ~/.ollama/models

Linux: /usr/share/ollama/.ollama/models

Windows: C:\Users.ollama\models

官方提供设置环境变量OLLAMA_MODELS来更改模型文件的存储路径

[Service]
# 配置OLLAMA的模型存放路径
Environment="OLLAMA_MODELS=/data/ollama/models"

注意：

由于当时使用root账号，同时目录权限也属于root，配置好后导致服务无法正常启动

此时，可以查看Ollama的运行日志，特别是在遇到问题需要调试时，可以使用以下命令：

journalctl -u ollama

解决问题：

因为指定的目录ollama用户及用户组没有相应权限，导致服务不能启动。通过授权给相应的目录权限解决问题。

chown ollama:ollama ollama/models

3.更改运行GPU

配置环境变量CUDA_VISIBLE_DEVICES来指定运行Ollama的GPU，默认不需要改动，适用于多卡环境。

Environment="CUDA_VISIBLE_DEVICES=0,1"

4.应用配置 重载systemd并重启Ollama

systemctl daemon-reload

systemctl restart ollama

5.访问测试

浏览器访问http://IP:11434/，出现Ollama is running代表成功。 在这里插入图片描述

Ollama命令

Shell窗口输入ollama，打印ollama相关命令说明

root@master:~/work# ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

ollama的操作命令跟docker操作命令非常相似

ollama serve	# 启动ollama
ollama create	# 从模型文件创建模型
ollama show		# 显示模型信息
ollama run		# 运行模型
ollama pull		# 从注册仓库中拉取模型
ollama push		# 将模型推送到注册仓库
ollama list		# 列出已下载模型
ollama cp		# 复制模型
ollama rm		# 删除模型
ollama help		# 获取有关任何命令的帮助信息

模型库

Ollama的Library，类似Docker的Docker Hub，在这里可以查找受Ollama支持的大模型。 在这里插入图片描述 以下是一些可以下载的示例模型：

注意：Ollama支持8 GB的RAM可用于运行7B型号，16 GB可用于运行13B型号，32 GB可用于运行33B型号。当然这些模型是经过量化过的。

在这里插入图片描述

使用示例

下载llama3-8b模型

root@master:~# ollama pull llama3:8b
pulling manifest 
pulling 00e1317cbf74... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
pulling 4fa551d4f938... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  12 KB                         
pulling 8ab4849b038c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  254 B                         
pulling 577073ffcc6c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  110 B                         
pulling ad1518640c43... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  483 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success

下载成功查看模型

root@master:~# ollama list
NAME            ID              SIZE    MODIFIED      
llama3:8b       a6990ed6be41    4.7 GB  3 minutes ago

运行模型并进行对话

root@master:~# ollama run llama3:8b
>>> hi
Hi! How's your day going so far? I'm here to chat and help with any questions or topics you'd like to discuss. What's on your mind?

>>> Send a message (/? for help)

自定义模型

所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型

从GGUF导入

Ollama支持在Modelfile文件中导入GGUF模型

创建一个名为 Modelfile的文件，其中包含一条FROM指令，其中包含要导入的模型的本地文件路径。

FROM ./Llama3-FP16.gguf

在Ollama中创建模型

ollama create llama3 -f Modelfile

运行模型

ollama run llama3

完整执行日志如下：

root@master:~/work# touch Modelfile
root@master:~/work# mv /root/work/jupyterlab/models/Llama3-FP16.gguf ./
root@master:~/work# ollama create llama3 -f Modelfile
transferring model data 
using existing layer sha256:547c95542e3fa5cc232295ea3cbd49fc14b4f4489ca9b465617076c1f55d4526 
creating new layer sha256:81834e074ec2a24086bdbf16c3ba70eb185f5883cde6495e95f5141e4d325456 
writing manifest 
success
root@master:~/work# ollama run llama3
>>> Send a message (/? for help)

自定义提示

Ollama库中的模型可以通过提示进行自定义。

FROM llama3

# 设置温度参数
PARAMETER temperature 1

# 设置SYSTEM 消息
SYSTEM """
作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。
"""

更多参数说明参考：Modelfile文档

从PyTorch或Safetensors导入

所谓从从PyTorch或Safetensors导入Ollama，其实就是使用llama.cpp项目，对PyTorch或Safetensors类型的模型进 行转换、量化处理成GGUF格式的模型，然后再用Ollama加载使用 。

上述从GGUF导入使用的模型：Llama3-FP16.gguf便是经过llama.cpp项目处理得到的。

llama.cpp的使用参考：使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署

官方文档参考：导入模型指南

开启服务

运行模型后，执行ollama serve命令启动Ollama服务，然后就可以通过API形式进行模型调用

ollama serve会自动启动一个http服务，可以通过http请求模型服务

首次启动会自动生成ssh私钥文件，同时打印公钥内容。

root@master:/usr/local/docker# ollama serve
Couldn't find '/root/.ollama/id_ed25519'. Generating new private key.
Your new public key is: 

ssh-ed25519 AAAAC3NzaC1lZDI1NTE5ssssssxxxxxxxxxxjx3diFB3a5deoGLnT7gHXxjA6R

2024/05/16 09:27:27 routes.go:1008: INFO server config env="map[OLLAMA_DEBUG:false OLLAMA_LLM_LIBRARY: OLLAMA_MAX_LOADED_MODELS:1 OLLAMA_MAX_QUEUE:512 OLLAMA_MAX_VRAM:0 OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:1 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:*] OLLAMA_RUNNERS_DIR: OLLAMA_TMPDIR:]"
time=2024-05-16T09:27:27.635Z level=INFO source=images.go:704 msg="total blobs: 0"
time=2024-05-16T09:27:27.635Z level=INFO source=images.go:711 msg="total unused blobs removed: 0"
time=2024-05-16T09:27:27.635Z level=INFO source=routes.go:1054 msg="Listening on 127.0.0.1:11434 (version 0.1.38)"
time=2024-05-16T09:27:27.635Z level=INFO source=payload.go:30 msg="extracting embedded files" dir=/tmp/ollama4098813456/runners
time=2024-05-16T09:27:31.242Z level=INFO source=payload.go:44 msg="Dynamic LLM libraries [cpu cpu_avx cpu_avx2 cuda_v11 rocm_v60002]"
time=2024-05-16T09:27:31.401Z level=INFO source=types.go:71 msg="inference compute" id=GPU-4c974b93-cf0c-486e-9e6c-8f91bc02743c library=cuda compute=7.0 driver=12.2 name="Tesla V100S-PCIE-32GB" total="31.7 GiB" available="16.5 GiB"

在这里插入图片描述

REST API

更多、具体API，请参阅 API文档

1.生成回复

curl http://IP:11434/api/chat -d '{
  "model": "llama3:8b",
  "messages": [
    { "role": "user", "content": "你好啊" }
  ]
}'

请求参数示例：

{
    "model": "llama3",
    "prompt": "你好啊",
    "stream": false
}

2.与模型聊天

curl http://IP:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "你好啊" }
  ]
}'

请求参数示例：

{
    "model": "llama3",
    "messages": [
        {
            "role": "system",
            "content": "你是一个乐于助人的AI助手。"
        },
        {
            "role": "user",
            "content": "你好啊"
        }
    ],
    "stream": false
}

卸载Ollama

停止并禁用服务

systemctl stop ollama

systemctl disable ollama

删除服务文件和Ollama二进制文件

rm /etc/systemd/system/ollama.service 

rm $(which ollama)

清理Ollama用户和组

rm -r /usr/share/ollama

userdel ollama

groupdel ollama

One-API

概述

One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。

GitHub：https://github.com/songquanpeng/one-api

拉取镜像

docker pull justsong/one-api

创建挂载目录

mkdir -p /usr/local/docker/oneapi

启动容器

docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /usr/local/docker/oneapi:/data justsong/one-api

访问IP:3001

初始账号用户名为 root，密码为 123456

在这里插入图片描述

One-API管理本地模型

在创建渠道时选择Ollama，然后手工填上自己要使用的模型，密钥任意，最重要的是后面在代理中写上自己ollama服务的地址即可 在这里插入图片描述 测试成功后，在各类OpenAI套壳软件中，通过配置类似于OpenAI的密钥、API地址等参数，就可以象使用OpenAI一样。 在这里插入图片描述

Open WebUI

概述

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线操作。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。

GitHub：https://github.com/open-webui/open-webui

Open WebUI：https://docs.openwebui.com/

Open WebUI社区: https://openwebui.com/

Docker部署

使用Docker快速安装部署Open WebUI，需要注意：确保在Docker命令中包含-v open-webui:/app/backend/data。因为它确保数据库正确安装并防止任何数据丢失。

使用Docker进行Open WebUI安装部署，根据场景不同，可分为以下几类：

1.默认配置安装，如果计算机上有Ollama，请使用以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker run -d -p 3000:8080  -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.Ollama位于不同的服务器上，连接到另一台服务器上的 Ollama，请将OLLAMA_BASE_URL更改为服务器的URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3.要运行支持Nvidia GPU的Open WebUI，请使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

4.安装带有捆绑Ollama支持的Open WebUI

使用GPU支持：通过运行以下命令来利用GPU资源：

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

仅适用于CPU：如果不使用GPU，请改用以下命令：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Open WebUI配置

访问http://IP:3000，创建一个账号(管理员) 在这里插入图片描述 进入Open WebUI后，界面如下。在Settings中进行相关设置。 在这里插入图片描述 设置语言 在这里插入图片描述 设置Ollama的访问地址 在这里插入图片描述
选择模型，开始聊天。 在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

标签
#人工智能 #自然语言处理 #Llama3 #llama #langchain
#程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Ollama中文版部署 官网下载的模型虽然能理解中文, 但是对中文的支持还是比较弱. 需要在hugging face下载中文训练后的模型: Llama3-8B-Chinese-Chat-v2.1。该模型还支持了官方llama3:8b不支持的function calling 调用。端口即可访问本地的大模型。 阅读详情

相关推荐

本地部署大模型记录

ollama主要简化了部署大模型的复杂度github地址：ollama/ollama：启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。github上可以看ollama相关介绍，包括如何使用vllm主要作用其实是可以提高推理性能，但是必须在linux下运行，而且必须有GPU官网地址vllm官网 Welcome to vLLM!— vLLM。

龙井茶的Sky 2211

Windows安装ollama和AnythingLLM及部署DeepSeek模型1

AnythingLLM安装有很多方式，一是到官方网站()下载桌面版，然后双击即可。

m0_60657960的博客 2万+

​开源大模型实战：GLM-4.1V-Thinking本地部署教程（附API调用代码）

​在AI应用从“能用”向“好用”进阶的当下，​的需求愈发强烈：企业需保障数据安全（如医疗影像、金融报告不外传），开发者追求定制化能力（如微调模型适配垂直场景），科研团队则依赖离线环境处理敏感数据。智谱AI开源的​（10B级参数，支持图像、视频、文档多模态推理）凭借的优势，成为本地部署的热门选择。不过，对于“不想折腾技术”的普通用户或快速验证需求的团队而言，​，无需安装配置，打开即用，堪称“零门槛”体验的捷径。本文将分为两部分：先手把手教你​（适合有技术背景的用户），再对比介绍。

gogoMark的博客 1340

大模型部署-​Ollama+WebUI

易于使用：它提供了一个简洁的界面和命令行工具，使得用户可以方便地管理和运行不同的大语言模型。多种模型支持：可以运行多种开源的大语言模型，为用户提供了更多的选择。本地运行：允许用户在本地设备上运行模型，保护数据隐私，同时减少对网络连接的依赖。自定义配置：用户可以根据自己的需求进行自定义配置，如调整模型参数、设置内存限制等。开发和测试：对于开发者来说，Ollama 是一个方便的工具，可以在本地进行模型的开发和测试，提高开发效率。

2401_84205765的博客 6918

PyGPT：桌面AI助手整合大模型与本地知识库，打造高效工作流

大语言模型（LLM）通过理解和生成自然语言，正深刻改变人机交互方式。其核心原理是基于海量数据训练的Transformer架构，能够根据上下文进行预测和生成。这一技术价值在于将强大的AI能力平民化，广泛应用于代码生成、文档分析、创意写作和智能问答等场景。通过API调用云端模型或本地部署开源模型，开发者可以构建个性化的AI应用。本文聚焦于PyGPT这一桌面AI助手，它巧妙地将ChatGPT、Claude、Gemini等主流大模型与LlamaIndex、Ollama等本地化工具整合，实现了聊天、文件分析、代码解释

weixin_28679635的博客 437

告别软件轮询！用STM32G474的COMP比较器实现纳秒级硬件过压保护（CubeMX配置详解）

本文详细介绍了如何利用STM32G474的COMP比较器实现纳秒级硬件过压保护，通过CubeMX配置详解，展示了硬件比较器相比传统软件轮询方案在响应时间、CPU占用和可靠性等方面的显著优势。文章还提供了实战配置流程和优化技巧，帮助工程师快速构建高效的硬件保护系统。

weixin_28683689的博客 351

Ollama：一个在本地部署、运行LLM大型语言模型的工具

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。

2401_82469710的博客 5480

ChatGPT Plus完整开通指南：从账号注册到稳定使用全流程

自然语言处理（NLP）技术通过深度学习模型实现对人类语言的理解与生成，其核心原理是基于Transformer架构的大规模预训练。GPT-4作为当前最先进的生成式AI模型，在代码编写、文档分析等场景展现出显著的技术价值。在实际应用中，稳定的网络环境和合规的支付方式是确保AI助手持续服务的关键因素。针对ChatGPT Plus的开通，需要系统性地解决账号验证、虚拟信用卡支付等工程实践问题，才能实现工作流的高效整合。

weixin_34239592的博客 428

Ollama：一键本地部署、运行LLM大型语言模型的工具

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。

瓦罗兰特顶级C位的博客 1653

企业AI选型大揭秘：扣子(Coze) Bot与微信对话开放平台深度剖析

本文对比分析了字节跳动的扣子(Coze)Bot和腾讯的微信对话开放平台两款AI聊天机器人解决方案。扣子(Coze)Bot凭借强大的大模型支持、丰富的插件生态、低代码开发及多平台部署能力，在功能丰富度和灵活性方面表现突出，适合技术实力强、业务场景复杂的企业。微信对话开放平台则依托微信生态优势，在客户服务和营销推广场景中更具优势，其零门槛接入方式更适合技术能力较弱的企业。企业在选型时应综合考虑规模、预算、业务场景和技术能力等因素，选择最适合的AI解决方案，以充分发挥AI技术价值，提升企业竞争力。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 434

ResNet改进(51)：基于轴向注意力机制的改进ResNet模型

本文介绍了一种结合轴向注意力机制的改进ResNet模型。 通过在传统CNN中引入轴向注意力，我们能够在保持计算效率的同时，增强模型对图像全局上下文的理解能力。这种混合架构结合了CNN的局部特征提取优势和注意力机制的全局建模能力，在图像识别任务中表现出色。 轴向注意力机制的应用不仅限于ResNet，也可以灵活地集成到其他CNN架构中。 未来可以探索更多注意力变体，或将其应用于特定领域任务，如医学图像分析、自动驾驶等需要精确空间理解的场景。 希望本文能帮助你理解如何将注意力机制与传统CNN结合，为你的计

2401_82355416的博客 359

Ollama：本地部署与运行大型语言模型的高效工具

所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像创建挂载目录启动容器访问IP:3001初始账号用户名为 root，密码为 123456。

2401_85343303的博客 1485

GibbsCAM软件二次开发：GibbsCAM软件API接口详解

API（Application Programming Interface，应用程序编程接口）是一种允许不同软件之间进行通信的接口。在GibbsCAM软件中，API提供了与外部程序交互的能力，使得开发者可以利用GibbsCAM的强大功能进行二次开发，定制化满足特定的制造需求。GibbsCAM的API主要基于.NET框架，使用C#或VB.NET等语言进行编程。在GibbsCAM软件中，通过API接口创建自定义几何形状是实现复杂零件设计和加工策略定制的关键步骤。

kkchenjj的博客 1497
上一篇： 本地部署 Llama 3.1：Ollama、OpenWeb UI 和 Spring AI 的综合指南
下一篇： 【RAG知识库】如何在LlamaIndex中使用RAG?
点赞 18
评论 0
书签 书签 14
Llama-Turbo
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值