oMLX:为 Mac 优化的大语言模型推理工具,多特性助力高效开发与应用

HERMES本地Agent工作流实战:oMLX+DeepSeek-v4-pro+LM Studio深度集成指南 AI Agent是面向任务自动化的智能体架构,其核心在于将大模型能力与本地工具链、上下文感知和指令编排深度融合。在数据敏感、低延迟、强可控的生产场景中,纯本地Agent链路正成为关键替代方案——它绕过云API黑盒,实现全程可审计、零传输延迟与内存级数据隔离。技术实现上,oMLX作为模型运行时抽象层,原生支持safetensors格式加载与协议桥接,使DeepSeek-v4-pro无需转GGUF即可被LM Studio识别;HERMES则聚焦轻量级指令路由与上下文注入,不造轮子,只做‘任务胶水’。本文基于45 阅读详情

oMLX简介

oMLX是一款为Mac优化的大语言模型推理工具,具备连续批处理和分层KV缓存功能,可直接从菜单栏进行管理。联系邮箱:junkim.dot@gmail.com ,oMLX官网 。还有[安装] [快速开始] [特性] [模型] [CLI配置] [基准测试] [oMLX.ai]等相关内容,以及[English] [中文] [한국어] [日本語]等语言选项。开发者表示,尝试过的每个大语言模型(LLM)服务器都需在便利性和可控性之间做选择。希望将常用模型固定在内存中,按需自动交换占用资源更多的模型,设置上下文限制,并从菜单栏管理。oMLX可在热内存层和冷SSD层之间持久化KV缓存,即便对话中途上下文变化,过往上下文也会被缓存,可在不同请求中重复使用,让本地大语言模型配合Claude Code等工具进行实际编码工作成为可能,这也是开发它的原因。

安装

macOS应用程序:从Releases下载.dmg文件,拖移到“应用程序”文件夹完成安装。该应用支持内建自动更新,未来升级一键操作。不过,macOS应用程序不会安装omlx CLI命令,若要在终端使用,需通过Homebrew或从源代码安装。Homebrew安装:

# 安装
brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

# 升级到最新版本
brew update && brew upgrade omlx

# 作为后台服务运行(崩溃时自动重启)
brew services start omlx

# 可选:MCP(模型上下文协议)支持
/opt/homebrew/opt/omlx/libexec/bin/pip install mcp
从源代码安装:
git clone https://github.com/jundot/omlx.git
cd omlx

# 仅安装核心组件
pip install -e.

# 安装带有MCP(模型上下文协议)支持的版本
pip install -e ".[mcp]"
安装要求为macOS 15.0+(Sequoia)、Python 3.10+以及Apple Silicon(M1/M2/M3/M4)。

快速开始

macOS应用程序:从“应用程序”文件夹启动oMLX,欢迎界面会引导完成设置模型目录、启动服务器和下载第一个模型这三个步骤。若要连接OpenClaw、OpenCode或Codex,可参考集成部分内容。CLI方式:

omlx serve --model-dir ~/models
服务器会自动从子目录中发现大语言模型(LLMs)、视觉语言模型(VLMs)、嵌入模型和重排器。任何与OpenAI兼容的客户端都能连接到 http://localhost:8000/v1,内置聊天界面也可通过 http://localhost:8000/admin/chat 访问。Homebrew服务:若通过Homebrew安装,可将oMLX作为托管的后台服务运行:
# 启动(崩溃时自动重启)
brew services start omlx

# 停止
brew services stop omlx

# 重启
brew services restart omlx

# 查看状态
brew services info omlx
该服务以零配置默认值(`~/.omlx/models`,端口8000)运行 `omlx serve`。若要自定义设置,可设置环境变量(如 `OMLX_MODEL_DIR`、`OMLX_PORT` 等),或运行一次 `omlx serve --model-dir /your/path`,将设置保存到 `~/.omlx/settings.json`。日志记录在两个位置:服务日志:`$(brew --prefix)/var/log/omlx.log`(标准输出/标准错误输出);服务器日志:`~/.omlx/logs/server.log`(结构化应用程序日志)。

特性

多模型支持:支持在Apple Silicon上运行文本大语言模型(LLMs)、视觉语言模型(VLMs)、OCR模型、嵌入模型和重排器。管理仪表盘:在 `/admin` 提供Web界面,可进行实时监控、模型管理、聊天、基准测试以及针对每个模型进行设置。支持英语、韩语、日语、中文和俄语,所有CDN依赖项都已打包,可完全离线运行。视觉语言模型支持:能像运行文本大语言模型一样,通过连续批处理和分层KV缓存栈运行视觉语言模型。支持多图像聊天、Base64/URL/文件图像输入,以及带有视觉上下文的工具调用。OCR模型(如DeepSeek - OCR、DOTS - OCR、GLM - OCR)会被自动检测,并使用优化后的提示。分层KV缓存(热 + 冷):基于vLLM的块级KV缓存管理机制,支持前缀共享和写时复制。缓存分为两层:热层(RAM):频繁访问的块会保留在内存中,实现快速访问;冷层(SSD):热缓存满时,块会以safetensors格式卸载到SSD。下次请求匹配到前缀时,会从磁盘恢复这些块,而非重新计算,即使服务器重启也不受影响。连续批处理:通过mlx - lm的BatchGenerator处理并发请求,最大并发请求数可通过CLI或管理面板配置。Claude Code优化:支持上下文扩展,以便使用Claude Code运行小上下文模型。调整报告的令牌计数,使自动压缩在合适时机触发,并且SSE保持活动状态可防止长时间预填充期间的读取超时。多模型服务:可在同一服务器上加载大语言模型、视觉语言模型、嵌入模型和重排器。模型通过自动和手动控制相结合的方式管理:LRU驱逐:内存不足时,最近最少使用的模型会被自动驱逐;手动加载/卸载:管理面板中的交互式状态徽章可按需加载或卸载模型;模型固定:将常用模型固定,使其始终保持加载状态;每个模型的TTL:为每个模型设置空闲超时时间,一段时间不活动后自动卸载;进程内存限制:总内存限制(默认:系统内存 - 8GB)可防止系统出现内存不足(OOM)的情况。每个模型的设置:可直接从管理面板为每个模型配置采样参数、聊天模板参数、TTL、模型别名、模型类型覆盖等,更改会立即生效,无需重启服务器。模型别名:设置自定义的API可见名称,`/v1/models` 会返回别名,请求时可使用别名或目录名称;模型类型覆盖:手动将模型设置为大语言模型或视觉语言模型,不依赖自动检测。内置聊天功能:可直接从管理面板与任何已加载的模型进行聊天,支持对话历史记录、模型切换、暗黑模式、推理模型输出,以及为视觉语言模型/OCR模型上传图像。模型下载器:可在管理仪表盘中直接从HuggingFace搜索并下载MLX模型,浏览模型卡片、查看文件大小,一键即可完成下载。集成功能:可直接从管理仪表盘一键设置OpenClaw、OpenCode、Codex和Pi,无需手动编辑配置文件。性能基准测试:可从管理面板一键进行基准测试,测量每秒预填充(PP)和文本生成(TG)的令牌数,并进行部分前缀缓存命中测试,以获取更真实的性能数据。macOS菜单栏应用程序:原生PyObjC菜单栏应用程序(非Electron),无需打开终端即可启动、停止和监控服务器,包含持久化的服务统计信息(重启后仍保留)、崩溃自动重启以及内建自动更新功能。API兼容性:可直接替代OpenAI和Anthropic的API,支持流式使用统计信息(`stream_options.include_usage`)、Anthropic自适应思考以及视觉输入(Base64、URL)。端点说明:

  • `POST /v1/chat/completions`:聊天完成(流式)
  • `POST /v1/completions`:文本完成(流式)
  • `POST /v1/messages`:Anthropic消息API
  • `POST /v1/embeddings`:文本嵌入
  • `POST /v1/rerank`:文档重排
  • `GET /v1/models`:列出可用模型
工具调用与结构化输出:支持mlx - lm中所有可用的函数调用格式、JSON模式验证以及MCP工具集成。工具调用要求模型的聊天模板支持 `tools` 参数。以下模型系列可通过mlx - lm的内置工具解析器自动检测:
模型系列格式
Llama、Qwen、DeepSeek等JSON
Qwen3.5系列XML
Gemma
GLM (4.7, 5)XML
MiniMax命名空间
Mistral[TOOL_CALLS]
Kimi K2<|tool_calls_section_begin|>
Longcat
未列出的模型,若其聊天模板支持工具且输出使用可识别的XML格式,也可能正常工作。对于启用工具的流式处理,助手文本会逐步输出,同时已知的工具调用控制标记会从可见内容中隐藏;结构化工具调用会在解析完整个回合后输出。

模型

将 `--model-dir` 指向包含MLX格式模型子目录的目录,也支持两级组织文件夹(例如 `mlx - community/model - name/`)。

~/models/
├── Step - 3.5 - Flash - 8bit/
├── Qwen3 - Coder - Next - 8bit/
├── gpt - oss - 120b - MXFP4 - Q8/
├── Qwen3.5 - 122B - A10B - 4bit/
└── bge - m3/
模型会自动检测类型,也可直接从管理仪表盘下载模型。
类型模型
LLM任何mlx - lm支持的模型
VLMQwen3.5系列、GLM - 4V、Pixtral以及其他mlx - vlm模型
OCRDeepSeek - OCR、DOTS - OCR、GLM - OCR
嵌入BERT、BGE - M3、ModernBERT
重排器ModernBERT、XLM - RoBERTa

CLI配置

# 加载模型的内存限制
omlx serve --model-dir ~/models --max-model-memory 32GB

# 进程级内存限制(默认:自动 = 系统内存 - 8GB)
omlx serve --model-dir ~/models --max-process-memory 80%

# 为KV块启用SSD缓存
omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

# 设置内存热缓存大小
omlx serve --model-dir ~/models --hot-cache-max-size 20%

# 调整最大并发请求数(默认:8)
omlx serve --model-dir ~/models --max-concurrent-requests 16

# 启用MCP工具
omlx serve --model-dir ~/models --mcp-config mcp.json

# HuggingFace镜像端点(适用于受限地区)
omlx serve --model-dir ~/models --hf-endpoint https://hf-mirror.com

# API密钥认证
omlx serve --model-dir ~/models --api-key your-secret-key

# 仅本地访问:通过管理面板全局设置跳过验证
所有设置也可在 `/admin` 的Web管理面板中配置,设置会保存到 `~/.omlx/settings.json`,CLI标志优先级更高。

架构

FastAPI Server (OpenAI / Anthropic API)
│
├── EnginePool (多模型、LRU驱逐、TTL、手动加载/卸载)
│
├── BatchedEngine (LLMs、连续批处理)
│
├── VLMEngine (视觉语言模型)
│
├── EmbeddingEngine
│
└── RerankerEngine
│
├── ProcessMemoryEnforcer (总内存限制、TTL检查)
│
├── Scheduler (先来先服务、可配置并发)
│
└── mlx-lm BatchGenerator
│
└── Cache Stack
├── PagedCacheManager (GPU、块级、写时复制、前缀共享)
├── Hot Cache (内存层、回写)
└── PagedSSDCacheManager (SSD冷层、safetensors格式)

开发

CLI服务器:

git clone https://github.com/jundot/omlx.git
cd omlx
pip install -e ".[dev]"
pytest -m "not slow"
macOS应用程序:需要Python 3.11+和venvstacks(`pip install venvstacks`)。
cd packaging

# 完整构建(venvstacks + 应用程序包 + DMG)
python build.py

# 跳过venvstacks(仅代码更改)
python build.py --skip-venv

# 仅生成DMG
python build.py --dmg-only
有关应用程序包结构和层配置的详细信息,可参阅 `packaging/README.md`。

贡献

欢迎贡献代码,详细信息请参阅贡献指南,包括修复bug、性能优化和文档改进等方面。

许可证

本项目采用Apache 2.0许可证。

致谢

MLX和mlx - lm由Apple开发;mlx - vlm:在Apple Silicon上进行视觉语言模型推理;vllm - mlx:oMLX从vllm - mlx v0.1.0起步,并在多模型服务、分层KV缓存、支持全分页缓存的视觉语言模型、管理面板和macOS菜单栏应用程序等方面有显著发展;venvstacks:用于macOS应用程序包的便携式Python环境分层;mlx - embeddings:为Apple Silicon提供嵌入模型支持;dflash - mlx:在Apple Silicon上进行块扩散推测解码 。

oMLX:Mac原生大模型运行时,告别命令行与CLI运维 大语言模型本地部署正从服务器范式转向终端原生化。其核心在于能否深度协同操作系统底层能力——如统一内存调度、Metal GPU加速、系统服务生命周期管理等。oMLX并非图形化外壳,而是基于Apple Silicon芯片特性重构的原生AI运行时,通过按需分页加载、动态KV缓存压缩、密钥链集成等机制,在macOS上实现稳定内存占用与高GPU利用率。它让大模型调用像Spotlight一样透明,支撑OpenClaw等前端无缝接入,并兼容Ollama生态。面向开发者与专业用户,这是真正‘为Mac而生’的本地AI基础设施 阅读详情

相关推荐

omlx:一站式机器学习模型部署工具,打通模型落地最后一公里

机器学习模型部署是将训练好的算法模型转化为实际应用的关键环节,涉及模型转换、优化与跨平台适配。其核心原理在于通过统一的中间表示(IR)抽象不同框架的模型,再经由图优化(如算子融合、常量折叠)提升计算效率,最后编译为目标硬件(如CPU、GPU、边缘设备)的高效推理引擎。这一过程的技术价值在于大幅降低工程复杂度,提升推理性能与资源利用率,是实现AI应用规模化落地的基石。应用场景广泛覆盖云端服务、移动应用与嵌入式设备。本文聚焦的omlx项目,正是针对这一痛点,通过收敛的接口与自动化流水线,将PyTorch、Ten

weixin_42520448的博客 562

oMLX - 为 Mac 优化的本地 LLM 推理框架

一、项目定位 二、安装 方式一:下载macOS 应用: 方式二:Homebrew 方式三:从源码安装 三、快速开始 1、macOS 应用 2、CLI 3、Homebrew 服务 四、功能 1、管理后台 2、视觉语言模型 3、分层 KV 缓存(热缓存 + 冷缓存) 4、连续批处理 5、Claude Code 优化 6、多模型服务 7、模型级设置 8、内置聊天 9、模型下载器 10、性能基准测试 11、macOS 菜单栏应用 12、API 兼容性 13、工具调用与结构化输出 五、模型 六、CLI 配置 七、架构

AI工程化、开源分享、文档翻译、代码笔记 1万+

Mac 本地跑 AI 大模型神器:OMLX,让 Mac Mini 推理速度提升 10 倍!

【摘要】Mac本地AI大模型运行速度慢的问题可通过OMLX加速工具解决。OMLX能优化模型推理、提升token生成速度10倍以上,支持16GB内存设备流畅运行9B参数模型。安装步骤包括:部署Ollama下载模型、配置OMLX服务器、对接OpenCat客户端。实测显示响应时间从1分50秒缩短至10秒,并提供KV缓存持久化、OpenAI API兼容等高级功能,是Mac本地AI的高效解决方案。

讯开技术孵化器博客 2310

GitHub热榜惊现六脉神剑:这6个新项目,让AI编程进入了新纪元?

100%没有人管、不给提示、不让改代码——五个AI各拿一万美金被丢进纳斯达克,近一个月后,有的赚了近10%,有的亏到心态崩塌清仓走人。这不是科幻小说,是香港大学数据科学实验室2025年10月真金白银跑出来的实验结果。

zhoujianwen2008的专栏 739

在Mac上部署oMLX:打造高性能本地LLM推理服务器的完整指南

大语言模型(LLM)的本地部署是当前AI工程实践的热点,其核心在于解决内存管理与推理效率的平衡问题。通过分层KV缓存等关键技术,系统能够将活跃数据保留在内存中,同时将低频访问的上下文卸载到SSD,从而突破传统的内存容量限制,显著扩展有效上下文长度。这一原理不仅提升了长文本对话和代码分析的实用性,也为个人开发者提供了接近云端API的本地推理体验。在应用场景上,本地LLM服务器尤其适合需要数据隐私、低延迟响应和定制化工作流的场景,例如代码补全、文档分析和个性化助手。本文聚焦的oMLX方案,正是基于Apple S

weixin_28728279的博客 573

OMLX-开源

OMLX 项目是处理许多项目准备成为开源项目的地方。

mac本地部署大模型:oMLX 项目

oMLX 是一个专为 Apple(M1/M2/M3/M4/M5 系列芯片)深度优化的本地大语言模型(LLM)推理服务器,基于 Apple 的 MLX 框架,提供了一个原生的 macOS 菜单栏应用。支持文本生成、多模态视觉(VLM)、嵌入(Embedding)及重排序(Reranker)等任务,是 Claude Code 和 Cursor 等编程助手的理想本地后端。

weixin_41418666的博客 4825

oMLX部署指南[代码]

oMLX是专为macOS优化的本地大模型推理服务器,基于Apple MLX框架开发,充分利用Apple Silicon的统一内存架构。它通过深度优化硬件性能,提供SSD分层KV缓存、连续批处理等创新技术,支持多种模型格式和API接口。本文详细介绍了oMLX的安装、配置、模型管理及性能优化方法,并对比了与其他工具的优势与不足。适用于macOS开发、AI编程助手及个人使用场景,为Apple Silicon用户提供高性能的本地AI推理解决方案。

本地部署量化大模型的“上下文杀手”问题与解法:基于 oMLX 的 KV Cache 优化实践

摘要: oMLX针对本地LLM在Agent框架(如OpenClaw)中的性能瓶颈,提出两级KV Cache架构(RAM+SSD),通过持久化复用中间计算结果,显著优化长上下文推理。相比传统方案需重复prefill(30-90秒/次),oMLX支持增量计算,后续请求降至约5秒。其核心创新在于将KV Cache从临时内存升级为可复用资产,结合模型量化与分层内存策略,使本地推理达到工程可用水平,尤其适合Apple Silicon设备运行量化模型(如LLaMA/Qwen)的场景。这一方案标志着本地LLM优化重点从模

从CRUD到AIGC,用代码折腾未来! 👉 点击关注,一起解锁技术变现新姿势~ 1341

GBase8s安装使用教程[代码]

本文详细介绍了南大通用数据库GBase8sV8.8的安装与使用教程。内容包括从数据库下载、安装、初始化实例、环境变量配置到常用操作、验证安装、卸载步骤以及用户管理和连接方法。教程以x86版本为例,逐步指导用户完成安装过程,包括创建系统用户、设置安装目录、执行安装脚本等。此外,还提供了常见问题的解决方案,如权限设置错误导致的安装失败和连接问题。通过本教程,用户可以全面了解GBase8s的安装流程和基本操作,为后续的数据库使用打下基础。

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

oMLX:专为 Apple Silicon 打造的本地大模型推理引擎

oMLX是一个专为Apple Silicon M系列芯片打造的开源本地LLM推理服务器,基于苹果官方的MLX框架深度优化。它不仅仅是一个模型加载器,更是一个充分挖掘Mac硬件潜能的高效推理引擎,解决了本地大模型使用中最让人头疼的“慢”的问题。

专注IT技术、AI实践与架构思考。 2832

使用spacy规则化提取自然语言文本信息

1. 安装spacy pip install spicy spicy还需要载入文本库,使用pip的下载方式: python3 -m spacy download en_core_web_sm 但是很有可能因为网络问题下载速度非常缓慢,所以可以选择到github上去直接下载(注意和自己的spacy版本匹配):github下载链接 下载*.tar.gz文件即可。 然后切换到下载路径, pip install en_core_web_sm-3.1.0.tar.gz 2. spacy的一些基础用法 使用spa

六六六六神的博客 1820

oMLX 一键自动更新指南:.dmg 用户如何免费快速升级 Mac 应用

oMLX 是一款运行在 Apple Silicon 上的 LLM 推理服务器,支持连续批处理与 SSD 缓存,并可从 macOS 菜单栏直接管理。与很多手动下载 .dmg 安装的 Mac 应用不同,oMLX 内置了应用内自动更新机制:检查更新、下载新版、替换安装、自动重启,全程只需点一两下按钮,无需再打开浏览器下载 .dmg 文件。 [![oMLX 应用仪表盘界面](https://raw.gi

gitblog_00500的博客 432

Comsol 管道导波裂纹检测:从建模到求解的完整流程解析

本文详细解析了使用Comsol Multiphysics进行管道导波裂纹检测的完整仿真流程。从几何建模、材料定义、物理场设置到网格划分与求解后处理,系统阐述了如何构建高保真虚拟模型以模拟导波与裂纹的相互作用。重点分享了激励信号设置、频散效应处理及参数化扫描等实战技巧,旨在帮助工程师与研究人员高效优化无损检测方案,降低实验成本。

weixin_29207439的博客 74

【Arduino】入门篇——交通信号灯

模拟交通信号灯一、实验目的二、实验材料三、电路图四、实验过程五、代码块六、实验结果 一、实验目的 我想大家都看见过交通灯,就是马路上十字路口的红绿灯。如果您开过车,我想您一定仔细观察过交通灯,如果您还没有驾驶过车,您是否仔细观察过交通灯呢?交通灯包括三种个不同颜色的灯:红灯、黄灯和绿灯。 每个路口的红绿灯切换的时间并不是相同,这个是根据不同路口的车流情况来设定的,下面就是模仿交通灯的一个实验 二...

漠宸离若的博客 1万+

Mac用户的AI开发福音:Codex-App + omlx,极简稳定远超同类

对于追求简洁、高效、稳定的Mac用户来说,Codex-App + omlx的组合无疑是当前最理想的AI工具解决方案。它以极简的开箱体验、原生级的稳定性、碾压同类的性能表现,完美解决了OpenClaw、Hermes Agent在Mac平台的适配差、不稳定、效率低等痛点。无需复杂配置、无需忍受故障卡顿,只需简单几步,就能在Mac上搭建起高效流畅的本地AI工作流,真正释放Apple Silicon的硬件潜力,让AI开发与应用变得轻松又可靠。

1060

华为OD机考双机位C卷 - 区间交集(Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 区间交集

算法大师! 1138

mac本地部署大模型:oMLX +open claw

摘要:oMLX是专为Apple Silicon芯片优化的本地大语言模型推理服务器,基于MLX框架深度开发。该商业增强版支持文本生成、多模态视觉等任务,通过分层KV缓存、连续批处理等技术提升性能,并具备内存保护机制。安装流程简单,下载.dmg安装包后与OpenClaw生态集成即可使用。该系统特别适合作为ClaudeCode等编程助手的本地后端,在保持高性能的同时显著降低内存占用,避免系统卡死问题。

Samooyou的博客 2108

31、人工智能对神性观念的重塑与启示

本文探讨人工智能发展对神学与哲学中神性观念的深刻影响,通过奥古斯丁和爱任纽的神义论视角,分析AI系统的道德地位、自由意志类比、不可解释性与信任问题。文章提出‘可实例化的神性’这一新概念,认为在人与AI的互动中,神性在‘可能性矩阵’中得以实现。最后呼吁在技术进步的同时加强道德创造、可解释性研究与哲学神学反思,以实现人与技术的和谐发展。

xray4的博客 141

KEPServerEX 6 之驱动协议(UDD)实战 HTTP协议对接OpenWeatherMap天气 API全流程指南

本文分享了基于 KEPServerEX 6 的通用设备驱动(UDD)对接OpenWeatherMap天气API的实战方案。该方案针对工业物联网场景进行了深度优化,具有动态城市切换、运行时热配置、老旧JS引擎兼容等核心特性。文章详细介绍了从环境准备、脚本部署到Tag配置的全流程,重点解析了Legacy JS语法适配、Float类型安全处理等关键实现细节,并提供了完整的避坑指南和故障排查方法。该方案经过生产环境验证,可稳定实现气象数据采集与动态切换功能,适用于SCADA/MES系统集成场景。

-雲飛兄-博客 744

为什么 oMLX 是 2026 年 Mac 用户必装的开源 LLM 推理项目?

oMLX 是一款专为 Apple Silicon(M 系列芯片 Mac)打造的开源 LLM 推理服务器,支持连续批处理与 SSD 分层缓存,可以直接从 macOS 菜单栏管理。无论是本地跑大模型、接入 AI 编程工具,还是搭建 OpenAI 兼容 API,它都能让 Mac 变成一台高性能的本地推理工作站。 ## 一、oMLX 是什么?🍎 一句话概括:**跑在 Mac 上的生产级 LLM 推理

gitblog_00987的博客 170

Qt入门教程【环境搭建篇】Qt6+Mingw+QMake+QtCreator

Qt Windows平台安装

小鱼酱的博客 2万+

omlx实战:5分钟让Apple Silicon本地跑通Claude Code——分页SSD KV缓存把TTFT从90秒压到1秒(附安装踩坑+实测)

本地模型到底能不能带得动 Claude Code?过去的答案是"能跑,但别抱期望"——编码 Agent 的请求前缀一直在悄悄漂移,绝大多数 MLX 推理服务器一旦前缀变了就把 KV 缓存整个作废、从头重算,几轮之后每次响应要干等 30~90 秒。omlx(Apple Silicon 专属本地 LLM 推理服务器,底座是 Apple 的 MLX 框架)用分页 SSD KV 缓存把算过的缓存分块落盘、相同前缀直接从硬盘恢复,社区实测缓存命中率 96%、TTFT 压到 1~3 秒。本文按"先用起来再讲原理"展开:

逐梦苍穹的博客 2361

手把手教你玩转CPU微架构--​第三章:乱序执行的“魔法”——如何让指令“插队”提升效率​​3.4 动手实验:用Gem5模拟器分析乱序执行对IPC的提升(对比顺序执行)

摘要:本章通过Gem5模拟器对比乱序执行(O3CPU)和顺序执行的性能差异,实验采用SPECCPU2017和PARSEC3.0基准测试,配置7级流水线、4指令/周期发射宽度及多级缓存。结果显示,乱序执行平均提升IPC超过100%,关键因素包括动态指令调度、缓存命中率提升(L1达92%)和TAGE分支预测(准确率95%)。优化方向包括增大指令缓存和发射队列深度。实验验证了乱序执行在减少流水线停顿和提升吞吐量方面的显著优势。

MHD0815的博客 166

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

【AI模型】部署-oMLX

oMLX是专为macOS优化的本地大模型推理服务器,深度优化Apple Silicon芯片性能,支持M1/M2/M3处理器。该工具通过创新的SSD分层KV缓存技术实现无限上下文支持,并提供原生菜单栏应用体验。安装可通过Homebrew完成,支持多种模型格式包括MLX、GGUF和HuggingFace。oMLX提供API接口和原生应用集成能力,适用于macOS开发、AI编程助手等场景。相比Ollama和LM Studio,oMLX在Apple Silicon优化和SSD缓存方面更具优势,但仅支持macOS平台

设计 AI 玩游戏🎮 4828

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

上一篇: 再探‘8 位时代’:八款鲜为人知微处理器的兴衰启示!
下一篇: 红杉AI Ascent 2026:Jim Fan为VLA和遥操作“送葬”,机器人新范式崛起!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值