LLM On Kubernetes

最新推荐文章于 2025-03-05 22:05:03 发布
最新推荐文章于 2025-03-05 22:05:03 发布
阅读量265 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Cloud Native 文章标签： kubernetes 容器 云原生 运维 开源 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_50573146/article/details/140444067

从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。GPU 领先制造商 Nvidia 的股价也因这一趋势而飙升。同样诞生了大量的大模型，对于这些模型的部署和管理也变得越来越重要，在这方面 Ollama 和 OpenUI 是一个不错的选择。
在这里插入图片描述
Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。Ollama 拥有各种一流的开源模型，例如 Llama 3、Phi 3、Mistral 等等，我们可以将 Ollama 看成是 Docker，但是专注于机器学习模型。
在这里插入图片描述
使用 Ollama 部署模型非常简单，就类似于使用 Docker 部署应用程序一样。但是，如果你对 CLI 不熟悉，那么使用 Ollama 会有点痛苦。为了解决这个问题，我们可以使用一个 open-webui 的项目，它提供了一个漂亮的界面，可以让您更轻松地部署模型。

为了更好地管理 Ollama，我们可以将 Ollama 部署到 Kubernetes 集群中。这样，我们就可以更

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM：软件测试的颠覆性力量
AI天才研究院
05-02 824
在当今快速发展的软件行业中，测试一直是确保产品质量的关键环节。随着人工智能技术的飞速进步，特别是大语言模型（Large Language Models，简称LLM）的出现，软件测试领域正经历着前所未有的变革。LLM凭借其强大的自然语言处理能力和广泛的知识储备，正在重塑我们对软件测试的认知和实践方式。本文将深入探讨LLM如何revolutionize软件测试领域，从理论基础到实际应用，全方位剖析这一颠覆性技术带来的机遇与挑战。
利用LLM增强推荐系统的上下文相关性建模
AI天才研究院
12-08 731
引言 随着互联网的迅速发展，个性化推荐系统已成为许多在线平台（如电商、新闻、社交媒体等）的重要组成部分。然而，传统的推荐系统面临着上下文相关性不足、用户偏好捕捉不准确等挑战。为此，大语言模型（LLM，Large Language Model）的引入为推荐系统带来了新的机遇。 LLM是一种能够理解和生成自然语言的深度学习模型，具有强大的上下文理解
14-60 剑和诗人34 - Kubernetes 是部署 LLM 的首选平台
ms44的专栏
07-11 800
近年来，大型语言模型 (LLM) 一直在彻底改变自然语言处理领域。从 GPT-3 到 PaLM 等，这些模型可以生成类似人类的文本、回答问题、总结文档等等。然而，训练和部署 LLM 需要大量的计算。随着这些模型的规模和能力不断增长，选择合适的平台来开发、部署和扩展它们变得至关重要。让我们深入探讨为什么 Kubernetes 会成为 LLM 的首选平台。我将介绍 Kubernetes 在可扩展性、灵活性、可移植性等方面如何满足大型语言模型的独特需求。
Kubernetes赋能LLM高效部署
XianxinMao的博客
03-05 580
Kubernetes 在支持大型语言模型（LLMs）方面展现了其强大的可扩展性和资源管理能力，能够动态调整资源以满足高计算需求，优化资源利用率，避免浪费和瓶颈。通过水平 Pod 自动扩展器（HPA）、资源配额与优先级管理，Kubernetes 实现了高效的资源分配与隔离，特别适合多团队、多项目的复杂环境。此外，Kubernetes 支持多种分布式训练方法，加速模型训练，并在生产推理阶段通过自动扩展和负载均衡确保高可用性和低延迟。其丰富的生态系统和跨环境可移植性进一步提升了 LLMs 的开发与部署效率，推动了
在 Kubernetes 上部署和管理 Ollama 模型：综合指南
python12222_的博客
11-25 2029
Ollama 是一个模型服务应用程序，旨在托管机器学习模型，使其能够通过 API 端点访问。• 可扩展性： Kubernetes 可以根据需求自动扩展你的部署。• 弹性： Kubernetes 通过管理容器健康和重启故障容器来确保高可用性。• 灵活性：动态调整资源分配和配置以适应不同的工作负载。Kubernetes 可自动部署、扩展和管理容器化应用程序。Ollama 通过提供强大的模型管理功能（包括通过 REST API 加载、标记和查询模型）对此进行了补充。
k8s&vllm&ollama部署deepseek-R1模型,内网无坑
qq_30632605的博客
02-06 1434
内网环境部署deepseek，vllm openwebui、chatbox访问
K8s GPU 资源管理探索：在 KubeSphere 上部署 AI 大模型 Ollama
KubeSphere
07-10 2499
作者：运维有术星主随着人工智能、机器学习、AI 大模型技术的迅猛发展，我们对计算资源的需求也在不断攀升。特别是对于需要处理大规模数据和复杂算法的 AI 大模型，GPU 资源的使用变得至关重要。对于运维工程师而言，掌握如何在 Kubernetes 集群上管理和配置 GPU 资源，以及如何高效部署依赖这些资源的应用，已成为一项不可或缺的技能。今天，我将带领大家深入了解如何在 KubeSphere 平台上，利用 Kubernetes 强大的生态和工具，实现 GPU 资源的管理和应用部署。
LLM-based Multi-Agents 系统架构详细设计和项目代码实例详解
AI天才研究院
09-03 1557
随着人工智能技术的快速发展，大语言模型（Large Language Models，LLMs）已经成为自然语言处理领域的重要突破。然而，单一的LLM在处理复杂任务时往往存在局限性。为了克服这些限制并充分发挥LLM的潜力，研究人员提出了基于LLM的多智能体（Multi-Agents）系统。这种系统通过整合多个专门化的智能体，实现了更强大、更灵活的问题解决能力。LLM-based Multi-Agents系统将多个基于大语言模型的智能体组织在一起，形成一个协作网络。
在 K8s 上使用 vLLM 部署大型语言模型 (LLM)
iCloudEnd的博客
05-15 942
vLLM 是一个用于 LLM 推理和服务的开源库，提供快速实施和用户友好的功能。vLLM 由加州大学伯克利分校专家精心制作，并在 Chat bot Arena 和 Vicuna Demo 中使用，它拥有一系列功能，包括：性能增强：利用分页注意力机制，与 Hugging Face Transformers 相比，vLLM 的吞吐量显着提高了 24 倍，确保了快速高效的 LLM 服务。用户友好的界面：vLLM 专注于无缝集成，通过其直观的界面简化了 LLM 部署。
Kubernetes 自动化诊断利器：k8sgpt-operator
力哥讲技术
05-05 1002
简单来说 k8sgpt-operator 可以在集群中开启自动化的 k8sgpt。它提供了两个 CRD：K8sGPT和Result。前者可以用来设置 k8sgpt 及其行为；而后者则是用来展示问题资源的诊断结果。
LLM 技术图谱（LLM Tech Map）& Kubernetes (K8s) 与AIGC的结合应用
tigerhhzz的博客
03-11 1240
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。
Ollama+Nginx+4090打造DeepSeek-R1-32B高可用大模型集群，助力企业拥抱AI时代
python12345_的博客
02-13 1625
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。的爆火，远不止于此。
大模型部署-​Ollama+WebUI
2401_85375298的博客
10-10 1522
易于使用：它提供了一个简洁的界面和命令行工具，使得用户可以方便地管理和运行不同的大语言模型。多种模型支持：可以运行多种开源的大语言模型，为用户提供了更多的选择。本地运行：允许用户在本地设备上运行模型，保护数据隐私，同时减少对网络连接的依赖。自定义配置：用户可以根据自己的需求进行自定义配置，如调整模型参数、设置内存限制等。开发和测试：对于开发者来说，Ollama 是一个方便的工具，可以在本地进行模型的开发和测试，提高开发效率。
大模型llm(1)：Ollama部署llama3学习入门llm
黄规速博客:学如逆水行舟，不进则退
05-06 5494
Llama 3 是一个自回归语言模型（an auto-regressive language），它使用优化的 transformer 架构。调整后的版本使用监督微调 （SFT） 和带有人类反馈的强化学习 （RLHF），以符合人类对有用性和安全性的偏好。大型模型则达到400B，仍在训练中，目标是实现多模态、多语言的功能，预计效果将与GPT 4/GPT 4V相当。
基于Ollama+MaxKB快速搭建企业级RAG系统
2401_83692861的博客
05-06 999
然后启动ollama的服务，注意容器内ollama的服务是在11434端口，然后我们通过。Ubuntu22系统，Docker20以上，Docker的安装参考。
Ollama 本地运行大模型(LLM)完全指南
热门推荐
LuckyTHP
07-29 2万+
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。Ollama 的特点：• 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。• 多操作系统支持：无论是 Mac、Linux 还是 Window，都能很方便安装使用。• 多模型支持：Ollama 支持多种流行的LLM模型，如Llama、Falcon等，用户可以根据自己的需求选择不同的模型，一键运行。
K8S 1.30环境中私有化部署 Ollama 和 DeepSeek-R1（671B模型）
2401_84208172的博客
02-18 1302
Ollama主要集中在本地化部署大型语言模型，帮助用户实现无需云端的 AI 模型部署，关注隐私保护和本地化计算。DeepSeek主要侧重于利用深度学习技术改进搜索和信息检索，通过语义理解优化传统的搜索引擎，特别适用于大规模数据集的处理和智能推荐。这两个工具都在各自领域中推动了 AI 技术的应用和发展，Ollama 更专注于本地化的 AI 模型应用，而 DeepSeek 更注重语义搜索和智能信息检索。
KubeSphere 最佳实战：探索 (k8s)kubernetes GPU 资源的管理，在 KubeSphere 上部署 AI 大模型 Ollama
Richardlygo的博客
08-03 1442
转载：KubeSphere 最佳实战：探索 K8s GPU 资源的管理，在 KubeSphere 上部署 AI 大模型 Ollama随着人工智能、机器学习、AI 大模型技术的迅猛发展，我们对计算资源的需求也在不断攀升。特别是对于需要处理大规模数据和复杂算法的 AI 大模型，GPU 资源的使用变得至关重要。对于云原生运维工程师而言，掌握如何在 Kubernetes 集群上管理和配置 GPU 资源，以及如何高效部署依赖 GPU 资源的应用，已成为一项不可或缺的技能。今天，我将带领大家深入了解如何在 KubeSp
以下是针对地质找矿和水工环地质勘查行业的详细部署指南，所有组件均安装在D盘，充分利用GPU资源，实现本地化知识库管理和Word报告自动化生成： --- ### **一、系统准备与目录创建** #### **1. 创建主目录结构** ```powershell # 打开PowerShell（管理员权限） # 创建主目录 mkdir D:\personal ai # 创建子目录 mkdir D:\personal ai\docker-data mkdir D:\personal ai\ollama mkdir D:\personal ai\ragflow mkdir D:\personal ai\dify mkdir D:\personal ai\models mkdir D:\personal ai\templates mkdir D:\personal ai\output ``` #### **2. 更新显卡驱动** 1. 访问[NVIDIA驱动下载页](https://www.nvidia.cn/Download/index.aspx) 2. 选择匹配显卡的驱动程序 3. 安装时选择： - **自定义安装** - 勾选**清洁安装** - 安装位置选择：`D:\personal ai\NVIDIA` --- ### **二、Docker Desktop安装与汉化** #### **1. 安装Docker Desktop** 1. 下载安装程序：[Docker Desktop for Windows](https://desktop.docker.com/win/main/amd64/Docker%20Desktop%20Installer.exe) 2. 运行安装程序： - 取消勾选"Use WSL 2 instead of Hyper-V" - 点击"Advanced"： - 安装路径：`D:\personal ai\Docker` - 数据存储路径：`D:\personal ai\docker-data` - 勾选： - ☑ Add shortcut to desktop - ☑ Enable WSL 2 Features - ☑ Add Docker binaries to PATH #### **2. Docker汉化** ```powershell # 下载汉化包 Invoke-WebRequest -Uri "https://ghproxy.com/https://github.com/Docker-Hub-frproxy/docker-desktop-zh/releases/download/v4.30.0/zh-CN.zip" -OutFile "D:\personal ai\docker-zh.zip" # 解压并替换文件 Expand-Archive -Path "D:\personal ai\docker-zh.zip" -DestinationPath "D:\personal ai\Docker\resources" -Force # 重启Docker Restart-Service -Name "Docker Desktop Service" ``` #### **3. 配置GPU支持** 1. 创建配置文件： ```powershell notepad $env:USERPROFILE\.wslconfig ``` 2. 输入以下内容： ```ini [wsl2] memory=16GB # 根据实际内存调整，建议≥16GB processors=8 # 根据CPU核心数调整 swap=0 localhostForwarding=true [nvidia] enabled=true cudaVersion=12.2 # 与安装的CUDA版本一致 ``` --- ### **三、Ollama + DeepSeek部署** #### **1. 安装Ollama** ```powershell # 下载安装程序 Invoke-WebRequest -Uri "https://ollama.com/download/OllamaSetup.exe" -OutFile "D:\personal ai\OllamaSetup.exe" # 静默安装到指定目录 Start-Process "D:\personal ai\OllamaSetup.exe" -ArgumentList "/S /D=D:\personal ai\ollama" -Wait ``` #### **2. 配置模型存储路径** ```powershell # 设置环境变量 [Environment]::SetEnvironmentVariable("OLLAMA_MODELS", "D:\personal ai\models", "Machine") # 重启Ollama服务 Restart-Service -Name "Ollama" ``` #### **3. 下载DeepSeek模型** ```powershell # 拉取7B参数模型（适合44GB显存） ollama pull deepseek-llm:7b # 验证安装 ollama run deepseek-llm:7b "地质找矿的基本流程是什么？" ``` --- ### **四、RAGFlow本地部署** #### **1. 创建docker-compose.yml** ```powershell # 创建配置文件 @" version: '3.8' services: ragflow: image: infiniflow/ragflow:latest container_name: ragflow ports: - "9380:9380" volumes: - "D:/personal ai/ragflow/data:/opt/ragflow/data" - "D:/personal ai/models:/opt/ragflow/models" environment: - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=compute,utility deploy: resources: reservations: devices: - driver: nvidia count: 2 capabilities: [gpu] "@ | Out-File -FilePath "D:\personal ai\ragflow\docker-compose.yml" -Encoding utf8 ``` #### **2. 启动RAGFlow** ```powershell # 进入目录 cd D:\personal ai\ragflow # 启动容器 docker compose up -d # 查看日志（确保正常运行） docker logs ragflow ``` --- ### **五、Dify工作流部署** #### **1. 创建docker-compose.yml** ```powershell @" version: '3' services: dify: image: langgenius/dify:latest container_name: dify ports: - "80:3000" volumes: - "D:/personal ai/dify/data:/data" environment: - DB_ENGINE=sqlite - GPU_ENABLED=true depends_on: - ragflow "@ | Out-File -FilePath "D:\personal ai\dify\docker-compose.yml" -Encoding utf8 ``` #### **2. 启动Dify** ```powershell cd D:\personal ai\dify docker compose up -d ``` --- ### **六、地质行业知识库配置** #### **1. 上传地质资料** 1. 访问 `http://localhost:9380` 2. 创建知识库 → 命名"地质矿产知识库" 3. 上传文件类型： - 地质调查报告（PDF/DOCX） - 矿产储量估算表（XLSX） - 水文地质图件（JPG/PNG） - 工程地质剖面图（DWG） #### **2. 配置检索策略** ```yaml # 在RAGFlow高级设置中 chunk_size: 1024 # 适合技术文档 chunk_overlap: 200 metadata_fields: # 地质专用元数据 - project_name - geological_period - mineral_type - gis_coordinates ``` --- ### **七、报告生成工作流配置** #### **1. 在Dify中创建工作流** 1. 访问 `http://localhost` 2. 创建应用 → 选择"工作流" 3. 节点配置： ``` [输入] → [RAGFlow检索] → [Ollama处理] → [Word生成] ``` #### **2. 配置Ollama节点** ```json { "model": "deepseek-llm:7b", "parameters": { "temperature": 0.3, "max_tokens": 4096, "system_prompt": "你是一位资深地质工程师，负责编写专业地质报告。使用规范的地质术语，遵循GB/T 9649地质矿产术语标准。" } } ``` #### **3. 创建Word模板** 1. 在 `D:\personal ai\templates` 创建 `地质报告模板.docx` 2. 包含字段： ```markdown ## {{project_name}}地质调查报告 ### 一、区域地质背景 {{regional_geology}} ### 二、矿产特征 {{mineral_characteristics}} ### 三、水文地质条件 {{hydrogeological_conditions}} [附图:{{figure_number}}] ### 四、资源量估算（单位：万吨） | 矿种 | 332 | 333 | 334 | |---|---|---|---| {{resource_table}} ``` #### **4. Python报告生成脚本** 在Dify中创建 `report_generator.py`： ```python from docx import Document from docx.shared import Pt import pandas as pd import json def generate_geological_report(data): # 加载模板 doc = Document(r'D:\personal ai\templates\地质报告模板.docx') # 填充文本内容 for p in doc.paragraphs: p.text = p.text.replace('{{project_name}}', data['project_name']) p.text = p.text.replace('{{regional_geology}}', data['regional_geology']) p.text = p.text.replace('{{hydrogeological_conditions}}', data['hydro_conditions']) # 填充资源表格 table = doc.tables[0] resources = json.loads(data['resource_table']) for i, mineral in enumerate(resources): row = table.add_row() row.cells[0].text = mineral['type'] row.cells[1].text = str(mineral['332']) row.cells[2].text = str(mineral['333']) row.cells[3].text = str(mineral['334']) # 保存报告 output_path = fr"D:\personal ai\output\{data['project_name']}_地质调查报告.docx" doc.save(output_path) return {"status": "success", "path": output_path} ``` --- ### **八、工作流测试与使用** #### **1. 触发报告生成** ```powershell curl -X POST http://localhost/v1/workflows/run \ -H "Content-Type: application/json" \ -d '{ "inputs": { "project_name": "云南某铜矿勘探", "requirements": "需要包含：\n1. 矿区水文地质分析\n2. 铜矿体三维模型描述\n3. JORC标准资源量估算" } }' ``` #### **2. 输出结果** - 生成文件：`D:\personal ai\output\云南某铜矿勘探_地质调查报告.docx` - 日志位置：`D:\personal ai\dify\data\logs\workflow.log` #### **3. 典型报告结构** ```markdown ## 云南某铜矿勘探地质调查报告 ### 一、区域地质背景 位于扬子地块西缘，出露地层主要为二叠系阳新组灰岩... ### 二、矿产特征 发现3条铜矿体，呈层状产出，平均品位Cu 1.2%... ### 三、水文地质条件 矿区内发育两条季节性河流，地下水类型主要为基岩裂隙水...[附图:图3] ### 四、资源量估算（单位：万吨） | 矿种 | 332 | 333 | 334 | |------|-----|-----|-----| | 铜矿 | 120 | 280 | 150 | ``` --- ### **九、维护与优化** #### **1. GPU监控** ```powershell # 查看GPU利用率 nvidia-smi --query-gpu=utilization.gpu --format=csv -l 5 # Ollama GPU加速验证 ollama run deepseek-llm:7b --verbose ``` #### **2. 地质专业词库增强** 1. 在 `D:\personal ai\models` 创建 `geology_terms.txt` 2. 添加专业术语： ```text 水工环地质 矿产普查 资源量估算 地层划分 构造解析 ``` 3. 在RAGFlow配置中加载术语库 #### **3. 常见问题解决** **问题1：Docker容器无法访问GPU** ```powershell # 验证NVIDIA容器工具包 docker run --rm --gpus all nvidia/cuda:12.2.0-base nvidia-smi # 解决方案 nvidia-smi --gpu-reset ``` **问题2：中文PDF解析乱码** ```yaml # 在RAGFlow配置中添加 parser_config: pdf: text_extraction: lang: chi_sim # 使用中文OCR ``` **问题3：报告生成格式错误** ```python # 在Python脚本中添加格式修复 def fix_table_format(table): for row in table.rows: for cell in row.cells: for paragraph in cell.paragraphs: paragraph.paragraph_format.space_before = Pt(0) paragraph.paragraph_format.space_after = Pt(0) ``` --- ### **十、地质行业应用场景** #### **1. 自动化报告类型** 1. 矿产勘探阶段性报告 2. 水文地质调查评价 3. 矿山环境影响评估 4. 地质灾害风险分析 5. 资源储量动态报表 #### **2. 效率提升对比** | 任务类型 | 传统耗时 | 系统耗时 | |---------|---------|---------| | 矿产调查报告 | 40小时 | 2小时 | | 水文地质图件说明 | 16小时 | 45分钟 | | 资源量估算表 | 8小时 | 实时生成 | 分析优化以上部署方案
最新发布
06-25
-**GPU资源调度**：使用Kubernetes等容器编排工具，根据负载动态分配GPU资源，避免空闲。####3.2**RAGFlow检索优化**-**索引优化**：对地质知识库采用分层索引（如FAISS的IVFPQ索引），加速向量检索[^4]。-**查询...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

星光落入你灰蒙蒙的眼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值