私有化部署 Llama3 大模型, 支持 API 访问

关注

原创最新推荐文章于 2026-06-11 22:05:53 发布 836 阅读 AI 写同款· GEO 优化 ›

llama3 结构详解然而，在MHA中，由于每个head都有独立的键和值，内存和计算成本较高，特别是在处理长序列或大批量数据时。我们知道，在《Attention is all you need》一文中，作者为了提高计算效率，提出了MHA技术，思想是采用分而治之的策略，把K、Q、V 对应的切分为若干个短向量，然后使用Scaled Dot-Product Attention 计算出attention score后，再把结果拼接起来，从而避免了超大向量乘法的计算消耗，从而提高了计算效率。的计算中，也没有做减去均值的操作( 阅读详情

llama3 server

前言

通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。

然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。

你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。

Llama3

https://llama.meta.com/llama3/

llama3

https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md

Model Architecture

安全性

https://llama.meta.com/trust-and-safety/

Responsible LLM Product Development Stages graphic

https://www.meta.ai/

meta ai chat

步骤

安装 ollama

https://ollama.com/

ollama

安装 Llama3 8b 模型

https://ollama.com/library

https://ollama.com/library/llama3

模型选择

llama3

安装命令

$ ollama run llama3

访问 api 服务

https://github.com/ollama/ollama/blob/main/docs/api.md

curl http://localhost:11434/api/generate -d '{
    "model":"llama3",    
    "prompt": "请分别翻译成中文、韩文、日文 -> Meta Llama 3: The most capable openly available LLM to date",    
    "stream": false
}'

参数解释如下：

model（必需）：模型名称。
prompt：用于生成响应的提示文本。
images（可选）：包含多媒体模型（如llava）的图像的base64编码列表。

高级参数（可选）：

format：返回响应的格式。目前仅支持json格式。
options：模型文件文档中列出的其他模型参数，如温度（temperature）。
system：系统消息，用于覆盖模型文件中定义的系统消息。
template：要使用的提示模板，覆盖模型文件中定义的模板。
context：从先前的/generate请求返回的上下文参数，可以用于保持简短的对话记忆。
stream：如果为false，则响应将作为单个响应对象返回，而不是一系列对象流。
raw：如果为true，则不会对提示文本应用任何格式。如果在请求API时指定了完整的模板化提示文本，则可以使用raw参数。
keep_alive：控制模型在请求后保持加载到内存中的时间（默认为5分钟）。

返回 json 数据

{
    "model": "llama3",    
    "created_at": "2024-04-23T08:05:11.020314Z",    
    "response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》：迄今最强大的公开可用的LLM\n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta\" in Japanese. In Japan, it's common to use the English term \"\" or \"\" when referring to Meta.",    
    "done": true,    
    "context": [   
        ...    
    ],    
    "total_duration": 30786629492,    
    "load_duration": 3000782,    
    "prompt_eval_count": 32,    
    "prompt_eval_duration": 6142245000,    
    "eval_count": 122,    "eval_duration": 24639975000
}

返回值的解释如下：

total_duration：生成响应所花费的总时间。
load_duration：以纳秒为单位加载模型所花费的时间。
prompt_eval_count：提示文本中的标记（tokens）数量。
prompt_eval_duration：以纳秒为单位评估提示文本所花费的时间。
eval_count：生成响应中的标记数量。
eval_duration：以纳秒为单位生成响应所花费的时间。
context：用于此响应中的对话编码，可以在下一个请求中发送，以保持对话记忆。
response：如果响应是以流的形式返回的，则为空；如果不是以流的形式返回，则包含完整的响应。

要计算生成响应的速度，以标记数每秒（tokens per second，token/s）为单位，可以将 eval_count / eval_duration 进行计算。

ollama 生态

https://github.com/ollama/ollama

客户端桌面、Web
命令行工具
数据库工具
包管理工具
类库

桌面 enchanted 客户端

https://github.com/AugustDev/enchanted

enchanted

设置服务器地址

ollama server url

提问使用

enchanted

代码

https://github.com/ollama/ollama

小结

感谢阅读本文

如果有什么建议，请在评论中让我知道。我很乐意改进。

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。