VLLM V1离线推理3 - Model Executor的层次化设计与性能优化

VLLM框架:大模型推理性能优化与部署实战 大规模语言模型推理面临显存碎片化和计算资源利用率低的挑战。通过引入操作系统的虚拟内存分页机制,VLLM框架的PagedAttention技术将KV Cache划分为固定大小的内存块,配合连续批处理技术,显著提升显存利用率和吞吐量。这种创新架构使得单A100节点可支持70B参数模型的50+并发请求,在电商客服、金融风控等场景实现高达24倍的性能提升。部署时需关注GPU选型与NVLink配置,通过动态批处理和内存优化策略,Qwen-72B等大模型可在生产环境稳定运行。 阅读详情

1. 从“黑盒”到“白盒”:理解Model Executor的层次化设计

很多刚开始接触VLLM V1离线推理的朋友,可能和我最初的感觉一样:这个Model Executor的调用链也太绕了!一个简单的模型执行请求,从EngineCore.model_executor.execute_model()开始,要经过Executor、UniProcExecutor、WorkerWrapperBase、Worker,最后才落到真正干活的GPUModelRunner上。这感觉就像你想开个灯,结果需要先打电话给物业(Executor),物业派个电工(UniProcExecutor)到你家门口,电工再敲门让你家保姆(WorkerWrapperBase)去叫醒正在睡觉的维修工(Worker),最后维修工才伸手去按开关(GPUModelRunner)。第一反应肯定是:有必要这么复杂吗?直接让维修工按开关不行吗?

我刚开始也这么想,觉得这是过度设计。但后来在几个实际的大规模部署项目中踩过坑、调过性能之后,我才慢慢体会到这种“一环套一环”的层次化设计的精妙之处。这绝不是为了复杂而复杂,而是为了解决分布式推理、资源管理、性能优化等一系列现实难题所必须的架构解耦。我们可以把VLLM的Model Executor想象成一个高度专业化的工厂流水线。EngineCore是总控台,它只关心“现在要生产什么”(执行推理)。Executor抽象层定义了所有工厂(无论是单生产线还是多厂房集群)都必须遵守的生产协议。UniProcExecutor是针对我们“单厂房、单生产线”(即单卡或单机离线推理)这个具体场景的厂长,它负责协调厂内唯一的“生产班组”。

那么WorkerWrapperBase和Worker又是什么呢?WorkerWrapperBase是这个生产班组的“班长”或“接口人”。在更复杂的分布式多卡场景下,可能会有很多个这样的“班长”,他们之间需要通信(RPC)。WorkerWrapperBase就封装了这些通信的细节,让上层的“厂长”(UniProcExecutor)可以用统一的collective_rpc命令来指挥所有班长,而不必关心底下是直接喊话(单进程)还是真的需要网络通信。在离线推理的UniProcExecutor里,这个RPC调用被简化为直接的函数调用,但保留了同样的接口,这为未来扩展到分布式推理提供了无缝的可能性。最后,Worker才是真正的“技术工人”,他掌握具体的操作技能,比如操作机床(GPU)。而他手下的“王牌工具”就是GPUModelRunner,这是直接操控数控机床(CUDA核)的专家。

这种设计的核心优势在于清晰的职责分离和极致的灵活性。每一层只做一件事,并且把它做好。调度逻辑、通信抽象、硬件操作、计算优化被拆解到不同的层中。当我们需要优化性能时(比如引入CUDA Graph),我们可以精准地在GPUModelRunner层动手术,而不会影响到上层的调度策略。当我们需要适配新的硬件或后端时,也只需要实现新的Worker和ModelRunner,上层的执行流程完全不用变。这种设计虽然增加了初次理解的成本,但在系统维护、功能扩展和性能调优时,带来的收益是巨大的。

2. 庖丁解牛:各层级核心职责与协作机制

理解了分层设计的必要性,我们再来像拆解精密仪器一样,看看每一层具体在干什么,以及它们是如何携手完成一次高效推理的。我会结合VLLM 0.7.2版本的代码,给你讲清楚这个流程,并分享一些我在调试时查看内部状态的小技巧。

2.1 顶层指挥官:EngineCore与Executor抽象

一切的起点是EngineCore.step()函数。你可以把它看作推理引擎的心脏起搏器,每一次跳动(step)就完成一轮“调度->执行”的循环。它内部的关键调用是这两行:

scheduler_output = self.scheduler.schedule()  # 调度器决定这次执行哪些请求
output = self.model_executor.execute_model(scheduler_output) # 交给执行器去真正运行模型

这里的model_executor就是我们的主角。在离线推理场景下,它被实例化为UniProcExecutor。但请注意,EngineCore本身并不关心具体是哪种执行器,它只依赖Executor这个抽象基类定义的接口(如execute_model, initialize等)。这是一种典型的依赖倒置原则应用,高层模块(EngineCore)不依赖低层模块的细节,而依赖其抽象。这让我们可以轻松替换不同的执行策略,比如换成处理多卡并行的DistributedExecutor,而核心调度逻辑无需改动。

2.2 单机调度中枢:UniProcExecutor的“伪装”RPC

UniProcExecutor是针对单进程环境的执行器。它的一个巧妙设计是用统一的RPC接口屏蔽了分布式与单机的差异。我们看看它如何处理一个调用:

# 在 UniProcExecutor 中
def collective_rpc(self, method_name, args=(), kwargs=None):
    # 在单机模式下,实际上转化为对本地worker的直接方法调用
    return run_method(self.driver_worker, method_name, args, kwargs or {})

driver_worker是WorkerWrapperBase的一个实例。collective_rpc这个名字暗示了“集体远程过程调用”,在分布式环境下,这个方法需要把指令广播给所有工作节点并收集结果。但在UniProcExecutor里,它被简化成了本地函数调用。这种设计保持了API的一致性,使得在单机调试好的代码,可以相对平滑地迁移到分布式集群,因为上层的调用方式完全一样。

UniProcExecutor在初始化时,会按顺序发起几个关键的RPC调用,来完成模型的加载准备:

  1. init_worker: 通知driver_worker创建具体的Worker实例(例如vllm.v1.worker.gpu_worker.Worker)。
  2. init_device: 让Worker初始化GPU设备,并创建它的“利器”——GPUModelRunner。
  3. load_model: 命令Worker通过model_runner加载模型权重到GPU内存。

这个流程确保了对象的创建和依赖注入是清晰有序的。我在实际使用中,有时为了排查内存问题,会在这些步骤之间插入torch.cuda.mem_get_info()来观察GPU内存的变化,从而精确定位是模型加载还是缓存分配吃掉了大量显存。

2.3 工作单元核心:Worker与GPUModelRunner的分工

Worker类是一个承上启下的关键层。它接收来自Executor的抽象指令,并将其翻译成GPUModelRunner能理解的具体操作。Worker负责管理模型运行的生命周期状态,而GPUModelRunner则专注于极致性能的计算本身。

一个很好的类比是,Worker是项目经理,他负责协调资源、管理进度(比如处理warmup、管理随机种子);而GPUModelRunner是技术专家,他只关心如何用最高效的算法和工具(CUDA Graph、优化后的kernel)完成计算任务。这种分工让GPUModelRunner可以保持“纯粹”,专注于计算优化,而不被繁琐的状态管理和资源协调所干扰。

例如,在模型预热和编译阶段,Worker.compile_or_warm_up_model()方法体现了这种协作:

def compile_or_warm_up_model(self) -> None:
    # Worker决定哪些尺寸需要预热(非CUDA Graph捕获的尺寸)
    warmup_sizes = [...]
    for size in warmup_sizes:
        self.model_runner._dummy_run(size) # 交给ModelRunner去实际执行预热
    # 如果启用,则进行CUDA Graph捕获
    if not self.model_config.enforce_eager:
        self.model_runner.capture_model() # 核心优化操作下放
    # Worker负责重置随机种子,确保可复现性
    set_random_seed(self.model_config.seed)

你可以看到,Worker决定了“要做什么”(预热哪些尺寸、是否捕获Graph),而“怎么做”则委托给了model_runner。这种模式非常利于维护和优化,因为你可以独立地改进GPUModelRunner的_dummy_run或capture_model的实现,只要接口不变,上层Worker的代码完全不用动。

3. 性能利器:CUDA Graph捕获的深度解析与实战

如果说层次化设计是VLLM Model Executor的“骨骼”和“经络”,那么CUDA Graph捕获就是其提升性能的“内功心法”。这是将推理从“解释执行”变为“预编译执行”的关键一步,能显著降低CPU开销和GPU内核启动延迟。但用得好不好,里面门道很多。

3.1 为什么需要捕获CUDA Graph?

在默认的“eager”模式下,每次模型前向传播,PyTorch都会在CPU上依次发射一系列GPU内核(kernel)。每个内核发射都需要CPU与GPU的交互,产生固定的开销。当推理请求的输入形状(batch size, sequence length)固定时,这些内核的执行顺序和参数是完全相同的,重复的发射开销就成了不必要的浪费。

CUDA Graph允许我们将一系列内核的执行“录制”成一个图(Graph)。之后,只需要“回放”这个图,就能以极低的开销复现整个计算过程。这就像你每天上班走同一条路,eager模式是每天重新看地图、思考怎么走;而Graph模式是第一天把这条路完整走一遍并录下来,以后每天直接播放录像,省去了“思考”和“决策”的时间。

在VLLM中,这个捕获过程发生在GPUModelRunner.capture_model()方法里。它不是一个简单的“录制-回放”,而是包含了精心设计的策略。

3.2 捕获策略与参数调优实战

VLLM的捕获逻辑非常讲究。我们仔细看这段代码:

def capture_model(self) -> None:
    with graph_capture(device=self.device):
        for num_tokens in reversed(self.cudagraph_batch_sizes):
            for _ in range(self.vllm_config.compilation_config.cudagraph_num_of_warmups):
                self._dummy_run(num_tokens)
            self._dummy_run(num_tokens) # 这一次用于实际捕获

这里有三个关键点:

  1. 倒序捕获:for num_tokens in reversed(...)。VLLM会从大的token数量开始捕获。这是因为CUDA Graph在捕获时会分配一块固定的内存用于计算。先捕获大尺寸的图,这块内存就足够大,后续捕获小尺寸的图时,可以直接复用这块内存,避免了多次分配释放的开销和碎片。这是一个非常重要的性能优化细节。

  2. 预热迭代:cudagraph_num_of_warmups(默认通常是1)。在正式捕获前,先执行几次_dummy_run进行预热。这是因为GPU内核在首次执行时,可能涉及内核编译、缓存填充等一次性开销。预热可以让GPU达到一个稳定的“热状态”,确保我们捕获到的是常态下的高性能执行路径,而不是包含初始化开销的路径。

  3. 捕获尺寸列表:cudagraph_batch_sizes。这是性能与内存的权衡点。VLLM默认的生成策略是[1, 2, 4] + [i for i in range(8, 513, 8)]。这意味着它会为1、2、4个token,以及8、16、24...直到512个token(间隔为8)分别捕获一个独立的CUDA Graph。

那么,在实际项目中我们该如何调整这些参数呢?

  • 如果你的应用场景非常固定,比如总是用固定的批处理大小进行对话补全,那么你可以将cudagraph_batch_sizes设置得更加精确,只包含你用到的那个尺寸(如[32])。这能减少不必要的Graph内存占用。
  • 如果你的输入长度变化范围很大,默认的列表可能不够细粒度。你可以增加间隔的密度,比如改为range(8, 513, 4),但这会线性增加内存占用和初始捕获时间,需要根据你的显存容量权衡。
  • 关于cudagraph_num_of_warmups,通常保持默认值1即可。如果你发现首次推理(捕获后第一次回放)仍然比后续推理慢,可以尝试增加到2。但增加它只会影响捕获阶段的耗时,不会影响最终推理性能。

我在一个高并发API服务中做过测试,在固定输入形状的场景下,启用CUDA Graph后,尾部延迟(P99)降低了约15%,CPU利用率下降了近30%,效果非常明显。但要注意,CUDA Graph并非银弹,它最适合计算图静态(算子序列固定)且内存地址静态的场景。对于动态性极强的计算,它可能不适用,这也是为什么VLLM目前主要在decode阶段(形状相对固定)大力应用Graph,而在动态性更强的prefill阶段支持度有差异。

4. 设计哲学对比:VLLM Model Executor vs. SGLang

当我们理解了VLLM这套复杂但精细的设计后,再来看像SGLang这样的新兴推理框架,就能更清楚地看到它们不同的设计哲学和适用场景。这就像比较一辆精心调校、模块化的赛车和一辆高度集成、开箱即用的跑车。

VLLM Model Executor的设计哲学是“分层与解耦”。它构建了一个从顶层调度到底层硬件操作的完整、清晰的抽象栈。每一层都有明确的边界和职责。这种设计的好处是:

  • 可扩展性极强:想要支持新的硬件(如NPU)?实现一个新的ModelRunner就行。想要换一种分布式通信方式?修改WorkerWrapper的RPC实现。
  • 可维护性好:问题容易被定位在某一层,调试和优化可以有的放矢。
  • 功能全面:它需要处理非常复杂的生产级场景,如持续批处理、复杂调度、内存管理、多租户等,分层设计是管理这种复杂性的必然选择。

但它的代价是较高的认知负担和一定的运行时开销(尽管经过优化后很小)。你需要理解整个链条才能进行深度定制。

而SGLang的设计哲学更偏向“专注与集成”。SGLang的核心目标是提升大语言模型执行复杂提示词程序的效率,比如带有大量分支、循环、并行函数调用的提示。它通过RadixAttention、自动并行化等技术创新,深度优化了这类场景下的执行路径。

反映在架构上,SGLang的“执行器”概念可能没有VLLM那样清晰的多层划分,它更倾向于一个高度集成、针对特定领域(提示词程序)优化的引擎。它的优势在于:

  • 针对特定场景性能卓越:对于需要执行复杂提示逻辑的应用程序,其优化手段直接、高效。
  • 开发者体验可能更简单:如果你的需求正好落在它的优化范围内,API可能更直接。

那么,我们该如何选择呢?

根据我的经验,可以遵循这个简单的原则:

  • 如果你的核心需求是构建一个高吞吐、低延迟、支持持续批处理且需要应对各种未知生产负载的推理服务,VLLM的Model Executor这套经过验证的、稳健的分层架构是更可靠的选择。它的设计经过了大规模部署的考验,社区生态和工具链也更成熟。
  • 如果你的应用是高度特定的,核心瓶颈在于执行极其复杂、动态的提示词模板(比如Agent工作流、复杂的少样本学习提示),并且你愿意为了在该场景下的极致性能而接受一个更专注、可能通用性稍弱的框架,那么SGLang值得深入评估。

实际上,这两种设计并非完全对立。VLLM的层次化设计本身具有很强的包容性,未来完全可以在其ModelRunner层面集成类似SGLang的优化技术,作为针对特定计算模式的高性能后端。而理解VLLM Model Executor的设计,正是为我们进行这类深度优化或技术选型打下了坚实的基础。它告诉我们一个复杂的系统应该如何被拆解,以及每一部分应该如何优雅地协作。

DeepSeek V4本地部署指南:硬件要求、安装步骤与性能优化 大语言模型(LLM)作为人工智能领域的核心技术,通过深度学习架构实现自然语言理解与生成。其工作原理基于Transformer神经网络,能够处理复杂的语义关系和上下文依赖。在技术价值方面,LLM显著提升了代码生成、数学推理和文本处理的自动化水平,为开发者提供了强大的AI辅助工具。应用场景涵盖企业内部知识库问答、代码辅助开发、学术研究等数据安全要求高的环境。DeepSeek V4作为2026年发布的最新模型,在本地部署方面展现出显著优势,支持通过Ollama、Transformers和vLLM等多种方式实现高效 阅读详情

相关推荐

Qwen3.8-Max-Preview:2.4T参数大模型本地部署与性能优化指南

大语言模型(LLM)作为人工智能领域的核心技术,通过Transformer架构实现强大的自然语言理解和生成能力。其原理基于海量参数学习语言规律,技术价值体现在能够处理复杂的语义理解和推理任务。在实际应用中,LLM广泛应用于智能客服、内容创作、代码生成等场景。本地部署大模型时,显存优化和推理加速成为关键挑战,特别是面对2.4T参数规模的超大规模模型。本文聚焦阿里最新发布的Qwen3.8-Max-Preview,探讨如何在有限硬件资源下实现高效部署,涵盖量化技术、批处理策略等工程实践方案,帮助开发者解决大规模模

weixin_34049948的博客 347

深入解析VLLM Model Executor:从UniProcExecutor到GPUModelRunner的调用链揭秘

本文深入剖析了VLLM推理引擎中Model Executor的核心调用链,详细解读了从UniProcExecutor到GPUModelRunner的协同工作机制。文章聚焦于离线推理场景,揭示了各层次组件如何通过抽象与解耦实现高效执行,并探讨了其设计哲学与基于CUDA Graph等关键技术的性能优化实践。

h0i1j2k3l的博客 389

蚂蚁百灵Ling-3.0-flash上线SGLang:大模型推理优化实战与性能对比

在大语言模型(LLM)推理部署领域,优化计算效率是提升服务性能的关键。其核心原理在于通过注意力机制(Attention)的优化,减少重复计算,从而降低延迟和成本。这一技术价值在在线服务场景中尤为突出,直接关系到用户体验和资源开销。具体到应用场景,多轮对话、函数调用和JSON模式输出等结构化生成任务,往往涉及大量静态提示词的重复处理。针对这一痛点,SGLang推理引擎通过其RadixAttention技术,实现了对提示词模板的预计算与缓存。本文以蚂蚁百灵Ling-3.0-flash模型上线SGLang为例,通

weixin_30564785的博客 397

【vllm】(v1 Engine)vLLM V1 Engine 深度分析 — Part2: 客户端与异步引擎

vLLM V1 Engine 深度分析 — Part2: 客户端与异步引擎

zhonglinzhang 376

Windows本地部署DeepSeek-V4:从硬件选型到Agent平台搭建全指南

大语言模型(LLM)的本地部署是当前AI工程实践中的关键技术方向,其核心原理在于将预训练好的模型参数部署到本地服务器或高性能PC上,通过推理框架进行高效计算。这项技术的核心价值在于实现数据完全私有化、避免持续性的云服务费用,并支持深度定制化集成。在应用场景上,本地部署特别适合对数据安全有严格要求的金融、医疗、政务等行业,以及需要将AI能力与内部工作流深度结合的中小团队。本文聚焦于在Windows环境下,以极具性价比的硬件方案(如RTX 4090),通过WSL2和vLLM等工具,解决传统Linux部署的复杂性

weixin_33847182的博客 351

Qwen3.8 27B部署实战:vLLM、FP8量化与8G显存方案

大语言模型的本地部署与推理优化,是AI工程化落地的核心环节。围绕模型权重、推理框架与量化技术,vLLM、TensorRT-LLM等工具提供了不同层级的服务化能力,而FP8等量化方案可显著降低显存占用,使27B级模型在8G显存设备上极限运行成为可能。本文从部署环境准备、主流框架选型(Ollama、vLLM、llama.cpp、TensorRT-LLM)、显存估算与量化策略、API接口调用与批量任务设计等维度,系统梳理了Qwen3.8 27B的通用部署路径,帮助开发者在展示会结束后快速验证模型能力,并规避显存溢

weixin_30655569的博客 459

Keras与vLLM集成:用简洁API实现大模型高性能推理部署

深度学习推理部署是模型落地生产环境的关键环节,其核心目标是在保证预测准确性的前提下,最大化吞吐量并降低延迟。传统部署方式往往面临从训练框架到推理引擎的转换复杂、性能优化门槛高等挑战。通过创新的内存管理技术如PagedAttention,推理引擎能显著提升大语言模型的服务效率,降低显存占用。这种技术价值在需要高并发、低延迟的在线服务与批量离线处理场景中尤为突出。Keras作为广受欢迎的深度学习高层API,以其简洁易用的特性,正通过与vLLM这类高性能推理引擎的集成,致力于解决从模型训练到高效部署的最后一公里问

weixin_34379433的博客 385

Meta Llama 3本地部署全攻略:从开源模型选择到生产级API集成

大型语言模型(LLM)作为当前人工智能的核心技术,其部署方式正经历从云端API调用到本地私有化部署的范式转变。这一转变的核心原理在于通过模型权重开源与量化技术,使开发者能够将模型直接部署在自有硬件上,从而在数据隐私、长期成本与定制化方面获得根本性优势。其技术价值在于打破了封闭式API的服务边界,为企业和开发者提供了对AI能力的完全控制权。在应用场景上,它尤其适合对数据安全有严格要求的企业内部知识库、需要深度定制微调的垂直领域以及网络受限的离线环境。本文聚焦于Meta开源的Llama 3模型,深入解析其8B、

weixin_30294295的博客 337

vLLM大模型推理优化:分页注意力机制与生产部署实践

大语言模型推理中的KV缓存管理是提升性能的关键技术。传统方法因预分配连续内存导致显存浪费和碎片化问题,而分页注意力机制借鉴操作系统虚拟内存概念,通过非连续存储和动态分配显著提升硬件利用率。这一技术突破使得在相同硬件条件下,大模型推理吞吐量可提升数倍,特别适用于高并发API服务和批量处理任务。vLLM作为该技术的典型实现,通过创新的PagedAttention机制解决了显存瓶颈,支持主流大模型并完全兼容OpenAI API,为生产环境部署提供了完整的解决方案。

weixin_34151004的博客 442

GPT-5.6 Sol与Kimi K3硬件架构解析:12倍推理速度差异的根源

大语言模型推理性能的核心瓶颈往往在于硬件架构的内存带宽与通信效率。Cerebras等专用架构通过晶圆级集成技术,将计算核心与高带宽片上内存统一封装,彻底消除了传统GPU集群的模型并行通信开销。这种设计使模型权重能完全驻留于高速内存中,极大提升了数据读取效率,特别适合高并发、低延迟的在线推理场景。相比之下,GPU集群方案虽然具备成熟的软件生态和训练灵活性,但在超大规模模型推理时容易受限于显存容量和节点间通信延迟。理解这两种架构的原理差异,对优化实时对话、批量内容生成等AI应用的服务质量具有重要工程价值。本文以

weixin_30915951的博客 340

Vitis HLS 学习指南与实践教程

Vitis HLS 学习指南与实践教程摘要:本文系统介绍了AMD Vitis HLS工具及其应用。HLS技术将C/C++代码自动转换为硬件描述语言,显著提升FPGA开发效率(5-10倍)。文章对比了HLS与传统RTL设计的优势,包括抽象级别高、开发周期短、代码重用性强等特点。详细讲解了Vitis HLS工具链的核心功能,包括支持的C/C++特性(如任意精度数据类型)、开发流程(项目创建-代码编写-仿真-综合)以及关键优化技术(流水线、循环展开、数组分割等编译指示)。通过具体代码示例展示了HLS设计方法,为F

weixin_44707118的博客 1401

Kumo Tabular 开发者参考:structured-data-models 推理接口与 API 完整清单

Kumo Tabular 是 NVIDIA 推出的预训练表格基础模型(tabular foundation model),支持**分类与回归**两大任务。本文将带你完整掌握它的推理方式:通过 `structured-data-models` 库加载 Kumo Tabular 模型权重,调用核心推理接口,并附上一份常用 API 参数清单,帮助新手快速上手。 ## 什么是 Kumo Tabular?

gitblog_00489的博客 251

Python爬虫实战:5分钟搞定微信公众号文章阅读数、点赞数抓取(附完整代码)

本文详细介绍了如何通过Python爬虫技术自动化抓取微信公众号文章的阅读数和点赞数。文章从数据源分析入手,分步讲解了获取文章列表与提取单篇统计数据的完整流程,并提供了应对平台风控的策略与工程化整合方案,帮助开发者高效、合规地完成数据采集任务。

ansible6ops的博客 1339

Laguna S 2.1 MoE模型部署指南:长文本处理与高效推理实践

MoE(专家混合)架构是当前大规模语言模型的重要技术方向,其核心原理是通过稀疏激活机制,在总参数量巨大的情况下仅激活部分专家网络进行计算。这种设计显著提升了模型的推理效率,降低了硬件资源需求,为处理长文本序列等复杂任务提供了可行的工程解决方案。在自然语言处理领域,长程编码能力直接影响模型对文档理解、代码分析等场景的表现。Laguna S 2.1作为118B参数的MoE模型,支持128K上下文长度,在长文本理解上达到更高参数级别模型的性能,为开发者处理超长文档、代码库分析等任务提供了新的技术选项。通过合理的硬

weixin_34391445的博客 393

vuecli3 实现 移动端和pc端 界面切换(两套代码)

适合场景 多页面多系统应用 所有系统都在同一目录下。配置多入口多出口。每个系统之间可以链接。每个系统内依然采用Vue单页应用开发。 产品需求:一套代码 兼容pc端和移动端 , 移动端和pc端的样式布局差别很大,需要使用多界面,并判断使用手机的时候跳转移动端代码,使用pc端跳转pc端代码。 项目目录 分为两部分代码,pc 和mobile 第一步:创建一个登陆页面的文件 在项目public文件夹下创建一个login.html,其实就是将index.html复制一份,将title改一下: <!DOCTYP

你怎么也喜欢嘴巴嘟嘟 5924

DAIC-WOZ抑郁数据集实战:从申请到特征提取的全流程避坑指南

本文详细解析了DAIC-WOZ抑郁数据集从申请到特征提取的全流程,提供了实用的避坑指南和代码模板。涵盖数据获取技巧、多模态特征工程(面部动作单元、音频特征、文本处理)以及样本不平衡解决方案,帮助研究者高效处理这一经典抑郁分析数据集。

weixin_29196315的博客 173

HiDream-O1-Image-Dev-2604分布式部署架构设计:基于vLLM的高性能图像生成推理优化方案

面对大规模图像生成场景下的高并发推理需求,单GPU服务器在HiDream-O1-Image-Dev-2604这类大型视觉语言模型面前很快成为性能瓶颈。本文提供基于vLLM的分布式部署架构设计,通过Tensor Parallelism、动态批处理和负载均衡技术,实现Prompt-Refine模型的高性能推理,吞吐量提升3-5倍,响应时间减少40-60%,为生产环境提供可扩展的技术解决方案。 ##

gitblog_00500的博客 297

用AG9311芯片DIY一个多功能Type-C扩展坞:从原理图到PCB布局的保姆级指南

本文详细介绍了如何利用AG9311芯片DIY多功能Type-C扩展坞,涵盖从原理图设计到PCB布局的全过程。AG9311芯片作为高性价比的Type-C控制器,支持HDMI 2.0、USB 3.0、PD快充和千兆网口,适合硬件爱好者打造个性化扩展坞。文章还提供了调试技巧和进阶优化建议,帮助读者轻松完成项目。

weixin_42520909的博客 406

企业级AI编程助手部署架构设计:3种高性能推理方案深度解析

在当今AI技术快速发展的背景下,企业面临着如何高效部署和管理大型语言模型的挑战。Ornith-1.0-9B-GGUF作为一款专为本地部署设计的9B参数AI编程模型,为企业级AI编程环境提供了高性能、可扩展的解决方案。本文将深入解析三种生产环境优化的部署方案,帮助企业技术决策者构建稳定、高效的AI编程基础设施。 ## 业务挑战:企业AI编程环境的核心痛点 现代企业在构建AI编程助手时面临多重挑战

gitblog_00274的博客 256

PyTorch实战(20)——生成对抗网络(Generative Adversarial Network,GAN)

自生成对抗网络 (Generative Adversarial Network, GAN) 提出以来,一直是一个活跃的研究和开发领域。本节探索了 GAN 的基本概念,重点解析了其两大核心组件——生成器与判别器的架构设计,深入阐述了 GAN 模型的整体工作机制,并使用 PyTorch 从零开始实现了深度卷积生成对抗网络 (Deep Convolutional GAN, DCGAN)。

盼小辉丶的博客 3595

【自动驾驶轨迹规划之hybrid A*算法】

本文参考论文:https://ai.stanford.edu/~ddolgov/papers/dolgov_gpp_stair08.pdf 这篇文章是基于经典A*算法与reeds-shepp曲线的,不清楚的读者请参考【自动驾驶轨迹规划5之A*算法】_无意2121的博客-优快云博客【自动驾驶轨迹规划之dubins曲线与reeds-shepp曲线】_无意2121的博客-优快云博客 目录 1 hybrid A* 算法创新点 1.1 搜索方式 1.2 车辆运动学模型 1.3 reeds-shepp曲

weixin_65089713的博客 1万+

LLM推理优化:Scratch Workspaces架构思想与实践指南

在大语言模型(LLM)推理服务部署中,KV缓存管理和显存资源分配是影响性能的核心技术挑战。其原理在于,LLM推理过程需要为每个请求动态分配存储中间激活值和注意力键值对的工作内存,不当的管理会导致显存碎片化、利用率低下,进而推高延迟、降低吞吐。这一问题的技术价值在于,通过精细化的资源调度,能够显著提升硬件利用效率,降低服务成本。应用场景广泛覆盖高并发API服务、长上下文处理以及多智能体协同系统。本文聚焦的“Scratch Workspaces”正是一种应对这些挑战的架构设计思想,它倡导为推理请求动态分配专属计

weixin_30321449的博客 388

芒果YOLO11改进23:主干Backbone篇GhostNet:原创改进高效 GhostNet 网络,华为出品,打造全新检测器

主干Backbone篇GhostNet:原创改进高效 GhostNet 网络,华为出品,打造全新检测器

包括YOLOv5、YOLOv7、YOLOv8等模型改进 408

H100上vLLM Serving调优:p95 TTFT与ITL双指标优化实践

大模型在线服务的响应体验,通常由首Token延迟(TTFT)和Token间延迟(ITL)两个核心指标衡量。p95分位数比平均值更能反映真实用户感受到的尾部延迟,而这两个指标并非仅由GPU算力决定,服务端调度策略、显存管理乃至CUDA Graph的启用与否都会产生显著影响。vLLM作为主流的开源推理框架,其PagedAttention显存机制和Continuous Batching动态批处理,为性能调优提供了灵活空间。在H100平台上,通过合理设置显存利用率、调整并发序列上限、开启chunked-prefil

weixin_34348805的博客 341

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

NVIDIA Nemotron 3.5 Lightning:专为AI Agent优化的高效推理模型部署指南

在AI Agent(智能体)开发领域,推理效率与成本控制是核心挑战。大语言模型通过理解复杂指令、进行逻辑推理和生成可执行代码,为自动化任务提供了基础能力。其技术价值在于将自然语言转化为具体行动步骤,从而赋能自动化客服、代码助手和数据分析等场景。为了提升工程实践中的性价比,模型优化技术应运而生,旨在降低显存占用和计算延迟。NVIDIA开源的Nemotron 3.5 Lightning模型正是这一方向的代表,它通过一系列优化,显著提升了AI Agent任务的执行速度,并将推理成本大幅降低。本文聚焦于该模型的本地

weixin_30520015的博客 379

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

本地LLM离线应急调度协议:架构设计与Python实现

在边缘计算和物联网场景中,设备端人工智能(AI)的离线决策能力至关重要。其核心原理在于,通过本地部署的轻量级大语言模型(LLM)结合确定性规则引擎,在无网络环境下实现事件感知、智能决策与资源调度。这项技术的价值在于保障了关键应用在弱网或断网情况下的自主响应能力与数据隐私安全。典型的应用场景包括智能家居的本地应急处理、车载系统的离线安全决策以及野外工业设备的自主故障诊断。本文聚焦于一个专为设备端LLM设计的离线应急调度协议草案,深入探讨了其以事件驱动和资源感知为关键特性的系统架构,并通过Python模拟验证了

weixin_30410119的博客 377
上一篇: 微信小程序用户授权流程解析:从openid到手机号的安全获取
下一篇: Linux内存管理中的CMA机制:如何为DMA设备高效分配连续内存?
人间清醒863
博客等级 码龄3年 33粉丝 1544原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值