释放GPU显存压力:PyTorch C++前端自动内存回收的5个关键策略

第一章:PyTorch C++前端的内存管理

在使用 PyTorch 的 C++ 前端(LibTorch)进行深度学习模型部署时,内存管理是确保程序高效稳定运行的关键环节。与 Python 前端不同,C++ 不具备自动垃圾回收机制,因此开发者必须显式关注张量(Tensor)和模型对象的生命周期。

内存分配与释放机制

LibTorch 通过 RAII(Resource Acquisition Is Initialization)原则管理资源。每个 torch::Tensor 对象在其构造时申请内存,析构时自动释放。开发者应避免手动调用底层释放函数,而是依赖作用域控制对象生命周期。
// 示例:RAII 管理张量内存
{
    torch::Tensor tensor = torch::rand({2, 3});
    // tensor 在作用域结束时自动释放内存
} // 自动调用析构函数

共享内存与引用计数

多个张量可共享同一块数据存储,PyTorch 使用引用计数跟踪共享状态。当最后一个引用离开作用域时,内存被回收。
  • 使用 tensor.clone() 创建独立副本
  • 使用 tensor.detach() 分离计算图但共享数据
  • 避免长时间持有张量引用以防内存泄漏

内存优化建议

策略说明
预分配缓冲区在循环中复用张量,减少频繁分配开销
启用内存池LibTorch 默认启用内存池以加速小块内存分配
及时释放大张量使用 .reset() 主动释放不再需要的大张量
graph TD A[创建Tensor] --> B{是否共享数据?} B -->|是| C[增加引用计数] B -->|否| D[分配新内存] C --> E[任一引用销毁] D --> F[独占内存] E --> G[引用计数减1] G --> H{计数为0?} H -->|是| I[释放内存] F --> J[作用域结束] J --> I

第二章:理解GPU内存分配与生命周期

2.1 GPU内存分配机制的底层原理

GPU内存分配由驱动程序与运行时系统协同管理,核心目标是高效利用显存并减少主机与设备间的数据拷贝开销。
内存类型与分配策略
GPU支持多种内存类型,包括全局内存、共享内存和常量内存。全局内存由 cudaMalloc 分配,位于高带宽显存中,适合大块数据存储。
cudaError_t status = cudaMalloc((void**)&d_data, size * sizeof(float));
if (status != cudaSuccess) {
    fprintf(stderr, "Memory allocation failed: %s\n", cudaGetErrorString(status));
}
该代码申请一块连续显存,d_data 为设备指针。若显存不足,返回错误码 cudaErrorMemoryAllocation。
内存池与延迟释放
现代CUDA版本引入内存池机制(如 cudaMallocAsync),通过预分配内存块提升分配效率,并支持跨流协作。
内存分配方式同步性适用场景
cudaMalloc同步传统应用
cudaMallocAsync异步高性能推理

2.2 张量对象在C++前端的内存足迹分析

在PyTorch C++前端中,张量(`torch::Tensor`)作为核心数据结构,其内存占用不仅包括实际数据缓冲区,还涉及元数据管理。理解其内存足迹对高性能计算至关重要。
内存组成剖析
一个张量对象主要由以下部分构成:
  • 数据指针:指向设备内存中的实际数值缓冲区
  • 元数据:包含形状、步幅、数据类型和设备信息
  • 引用计数:支持共享存储时的生命周期管理
代码示例与分析
auto tensor = torch::randn({1000, 1000}, torch::kFloat32);
std::cout << "Size: " << tensor.nbytes() << " bytes\n"; // 输出 4,000,000 字节
上述代码创建一个1000×1000的单精度浮点张量,每个元素占4字节,总数据内存为 $1000 \times 1000 \times 4 = 4,000,000$ 字节。`nbytes()` 返回的是底层数据大小,不包含C++对象头开销。
内存布局对比
张量类型元素大小(字节)1000×1000内存占用
float3243.81 MB
float6487.63 MB
int810.95 MB

2.3 内存生命周期与作用域的实践控制

内存分配与释放的关键时机
在程序运行过程中,变量的声明触发内存分配,而作用域结束则决定释放时机。局部变量在函数执行完毕后自动出栈,其内存由运行时系统回收。
func processData() {
    data := make([]int, 1000) // 分配内存
    // 使用 data
} // data 超出作用域,内存可被回收
上述代码中,data 在 processData 函数结束时离开作用域,Go 的垃圾回收器会在适当时机释放其底层数组。
控制作用域以优化内存使用
通过缩小变量作用域,可加速内存回收。建议在最小必要范围内声明变量。
  • 避免在函数外声明局部用途变量
  • 及时置 nil 引用以帮助 GC 识别无用对象
  • 利用闭包谨慎捕获外部变量,防止意外延长生命周期

2.4 利用RAII模式管理资源释放时机

RAII(Resource Acquisition Is Initialization)是C++中一种重要的资源管理机制,其核心思想是将资源的生命周期与对象的生命周期绑定。当对象创建时获取资源,在析构时自动释放,从而避免资源泄漏。
RAII的基本实现方式
通过构造函数获取资源,析构函数释放资源,确保异常安全和作用域退出时的自动清理。

class FileHandler {
    FILE* file;
public:
    FileHandler(const char* path) {
        file = fopen(path, "r");
        if (!file) throw std::runtime_error("无法打开文件");
    }
    ~FileHandler() {
        if (file) fclose(file);
    }
    FILE* get() { return file; }
};
上述代码中,文件指针在构造时打开,析构时关闭。即使发生异常,栈展开也会调用析构函数,保证资源正确释放。
RAII的优势对比
管理方式手动释放RAII
资源泄漏风险高低
异常安全性差优

2.5 常见内存泄漏场景与检测方法

常见内存泄漏场景
内存泄漏通常发生在对象不再使用但无法被垃圾回收器释放的情况下。典型场景包括:未清理的定时器、事件监听器未解绑、闭包引用不当以及缓存无限增长。
  • 定时器:如 setInterval 持续引用外部变量,导致作用域无法释放
  • 事件监听:DOM 元素已移除,但监听器仍绑定在全局对象上
  • 闭包滥用:内部函数持有外部函数变量的引用,阻止其回收
代码示例与分析

let cache = {};
window.addEventListener('load', function () {
  const largeData = new Array(1e6).fill('data');
  cache['pageLoad'] = largeData; // 缓存未清理
});
上述代码中,largeData 被缓存在全局对象中,且无过期机制,每次加载都会累积内存占用,最终引发泄漏。
检测方法
使用 Chrome DevTools 的 Memory 面板进行堆快照分析,或通过 Performance 工具记录内存分配时间线,定位持续增长的对象来源。

第三章:自动内存回收的核心机制

3.1 基于智能指针的资源自动管理

C++ 中的资源泄漏问题长期困扰开发者,尤其是在异常发生或控制流复杂时。智能指针通过 RAII(Resource Acquisition Is Initialization)机制,将资源生命周期与对象生命周期绑定,实现自动管理。
主流智能指针类型
  • std::unique_ptr:独占所有权,轻量高效,适用于单一所有者场景。
  • std::shared_ptr:共享所有权,通过引用计数管理,适合多所有者共享资源。
  • std::weak_ptr:配合 shared_ptr 使用,打破循环引用。
代码示例:unique_ptr 的基本用法

#include <memory>
#include <iostream>

int main() {
    auto ptr = std::make_unique<int>(42);
    std::cout << *ptr << std::endl; // 输出: 42
    return 0; // 离开作用域时自动释放内存
}
上述代码中,std::make_unique 创建一个独占的智能指针,指向动态分配的整数。当 ptr 超出作用域时,析构函数自动调用,释放其所拥有的资源,无需手动调用 delete。
引用计数对比表
智能指针类型所有权模型性能开销
unique_ptr独占极低(无额外内存开销)
shared_ptr共享中等(需维护引用计数)

3.2 LibTorch中的垃圾回收策略解析

LibTorch作为PyTorch的C++前端,其内存管理依赖于智能指针与引用计数机制,确保张量和计算图节点在无外部引用时自动释放。
引用计数与共享所有权
核心对象如at::Tensor底层由std::shared_ptr管理,每次复制张量仅增加引用计数,避免深拷贝开销:

auto tensor = torch::rand({2, 2});
auto copy = tensor; // 引用计数+1,不创建新数据
当最后一个引用离开作用域,析构函数触发资源回收。
循环引用与破除机制
在构建动态计算图时,反向传播需保存前向节点引用,易形成循环。LibTorch采用弱引用(std::weak_ptr)打破循环,确保中间变量可被及时清理。
机制用途
shared_ptr管理张量生命周期
weak_ptr避免反向图内存泄漏

3.3 自定义删除器在显存释放中的应用

在GPU编程中,显存管理直接影响程序性能与稳定性。标准内存释放机制无法满足复杂场景下的资源回收需求,自定义删除器为此提供了灵活解决方案。
自定义删除器的工作机制
通过绑定特定释放逻辑到智能指针,确保GPU资源在对象生命周期结束时被正确释放。例如,在CUDA环境下使用`std::unique_ptr`配合自定义删除器:
auto deleter = [](float* ptr) {
    cudaError_t err = cudaFree(ptr);
    if (err != cudaSuccess) {
        fprintf(stderr, "cudaFree failed: %s\n", cudaGetErrorString(err));
    }
};
std::unique_ptr gpu_data(nullptr, deleter);
上述代码定义了一个Lambda删除器,捕获`cudaFree`调用结果并输出错误信息。当`gpu_data`超出作用域时,自动触发该删除器,实现异常安全的显存回收。
优势与适用场景
  • 精确控制资源释放时机
  • 避免手动调用释放函数导致的遗漏
  • 支持多GPU环境下的上下文感知释放策略

第四章:优化显存使用的实战策略

4.1 显式释放不再使用的张量对象

在深度学习训练过程中,张量对象会占用大量显存或内存资源。若未及时清理无用张量,极易引发内存泄漏或显存不足错误。
手动释放机制
PyTorch 提供了多种方式显式释放张量:

import torch

x = torch.randn(1000, 1000, device='cuda')
y = x ** 2
del x  # 删除引用
torch.cuda.empty_cache()  # 清空缓存
上述代码中,del x 移除了变量引用,使张量可被垃圾回收;empty_cache() 主动释放未使用的显存。
资源管理最佳实践
  • 及时使用 del 删除中间变量引用
  • 在大型循环训练中周期性调用 torch.cuda.empty_cache()
  • 避免构建长生命周期的临时张量

4.2 减少中间变量缓存的临时内存占用

在高性能数据处理场景中,频繁创建中间变量会导致临时内存分配激增,增加GC压力。通过复用对象和流式处理可有效降低内存峰值。
避免冗余的中间切片
以下代码展示了如何通过直接写入目标缓冲区避免额外分配:

func process(data []byte, writer io.Writer) error {
    // 直接写入,而非返回新切片
    for _, b := range data {
        if b > 0 {
            err := writer.WriteByte(b)
            if err != nil {
                return err
            }
        }
    }
    return nil
}
该函数逐字节处理并写入IO流,无需构建中间结果,内存占用恒定。
使用对象池复用缓冲区
通过 sync.Pool 缓存临时缓冲区:
  • 减少重复分配开销
  • 降低短生命周期对象对GC的影响
  • 适用于高频率小对象场景

4.3 使用内存池技术提升分配效率

在高频内存分配场景中,频繁调用 new 或 malloc 会引发大量系统调用与碎片问题。内存池通过预分配固定大小的内存块,复用空闲对象,显著降低分配开销。
核心优势
  • 减少系统调用次数,避免频繁进入内核态
  • 降低内存碎片,提升缓存局部性
  • 加速对象初始化,支持对象复用
Go语言实现示例
var bufferPool = sync.Pool{
    New: func() interface{} {
        return make([]byte, 1024)
    },
}

func GetBuffer() []byte {
    return bufferPool.Get().([]byte)
}

func PutBuffer(buf []byte) {
    buf = buf[:0] // 清空内容,准备复用
    bufferPool.Put(buf)
}
上述代码通过 sync.Pool 维护缓冲区对象池。每次获取时优先从池中取用,避免重复分配;使用完毕后归还,供后续请求复用。该机制在HTTP服务器、序列化处理等高并发场景中效果显著。

4.4 多设备环境下显存管理的最佳实践

在多GPU系统中,合理分配与回收显存是提升训练效率的关键。应避免显存碎片化,优先使用统一内存管理接口。
显存预分配策略
采用池化机制可有效减少频繁申请开销:

import torch
# 启用CUDA缓存分配器
torch.cuda.set_per_process_memory_fraction(0.8)  # 限制使用80%显存
torch.backends.cuda.enable_mem_efficient_scheduling(True)
上述代码设置每个进程最多使用单卡80%显存,并启用高效调度策略,防止因小块内存请求导致的碎片。
跨设备数据同步机制
使用统一张量通信原语确保一致性:
  • 通过 torch.cuda.synchronize() 强制同步所有流
  • 利用 DistributedDataParallel 自动管理跨卡梯度更新
策略适用场景优势
延迟释放频繁分配/释放降低内核调用开销
显存预留大模型训练避免OOM突发错误

第五章:总结与展望

技术演进趋势
现代Web应用正朝着边缘计算与微服务深度集成的方向发展。以Next.js与Vercel部署为例,开发者可借助边缘函数实现毫秒级响应:

// edge-function.js
export default async (request) => {
  const geo = request.geo || { city: 'Unknown' };
  return new Response(`Hello from ${geo.city}!`, {
    status: 200,
    headers: { 'Content-Type': 'text/plain' }
  });
};
export const config = { runtime: 'edge' };
架构优化实践
在高并发场景下,数据库连接池配置直接影响系统稳定性。某电商平台通过调整PostgreSQL连接参数,将P99延迟从850ms降至180ms:
参数原值优化后
max_connections100300
work_mem4MB16MB
shared_buffers256MB2GB
未来发展方向
AI驱动的运维闭环:
  1. 采集应用链路追踪数据(如OpenTelemetry)
  2. 输入至LSTM模型预测流量峰值
  3. 自动触发Kubernetes水平伸缩策略
  4. 验证新副本健康状态并更新服务发现
某金融客户已落地该方案,在双十一期间实现零人工干预的弹性扩容,资源成本降低27%。同时,WASM模块在CDN节点的运行支持,使得个性化推荐逻辑可在离用户最近的位置执行,进一步压缩端到端延迟。

相关推荐

PHP接单涨薪系列(106):GPU显存管理终极方案,PHP直接操控CUDA上下文

PHP直连GPU的毫秒级显存调度方案 本文提出了一种突破性的GPU显存管理技术,通过重构PyTorch底层分配器和PHP扩展开发,实现PHP直接控制CUDA上下文。方案包含三大创新:重构CUDACachingAllocator、跨语言上下文共享和零拷贝传输优化。实验显示ResNet-50推理的显存分配延迟从17ms降至0.3ms,碎片率降低90%。该技术特别适用于AI服务、视频处理和金融交易等场景,可提升20倍并发性能并降低30%硬件成本。关键实现包括:1)Python端显存分配器劫持;2)PHP扩展直接操

专注分享PHP、python、AI、web前端等知识 1194

如何释放GPU显存?CUDA out of memory 如何解决

但只能释放失活显存,即通过手动释放后,1中的例子显存占用率为1/10。调用 torch 的功能可以实现显存释放 torch.cuda.empty_cache(),(2) 如果又来个稍小的数据进行推理,推理时需占用。(1) 来一个数据并进行推理,推理结束后占用。释放掉并提供给其进行推理,推理结束后又产生。(3) 如果又来个稍大的数据进行推理,需要。失活内存,CUDA会把2G失活内存中的。内存供其推理,推理结束后共占用。失活内存,则此时的占用率仍是。失活内存,推理结束后仍占用。失活内存,此时占用率则为。

michael_quan2013的博客 1万+

16G显存跑35B大模型:GGUF+llama.cpp+A3B协同原理与实操

大语言模型推理正从云端向本地下沉,而‘低显存运行大模型’已成为开发者和内容创作者的核心诉求。其技术本质是内存调度协议(如GGUF)、轻量化架构(如A3B)与裸金属推理引擎(如llama.cpp)三者深度协同的结果:GGUF通过分块映射与mmap机制实现显存按需加载;A3B架构支持自适应注意力剪枝与分层量化,在精度损失<0.8%前提下降低KV Cache压力;llama.cpp则绕过Python与框架开销,直控CUDA Runtime达成98%+ GPU利用率。该方案已广泛应用于Windows本地AI工作流、

cunfuxiao7305的博客 741

GPU释放显存

查看gpu使用情况,已经如何释放内存

flyingluohaipeng的博客 1万+

6G显存跑35B大模型:A3B量化与llama.cpp协同优化实战

大语言模型推理内存占用并非由参数量直接决定,而是取决于KV缓存、激活张量及量化权重解压开销。A3B自适应量化通过分层动态分配2~4比特,在精度与体积间取得平衡;llama.cpp则以GPU offload、mmap内存映射和语法校验等机制,实现显存-内存协同调度。这种软硬协同的技术路径,显著降低对高端GPU的依赖,使6G显存设备具备运行35B级模型的工程可行性。典型应用场景包括本地知识库问答、轻量Agent工作流编排与结构化内容生成,尤其适合边缘办公、私有化部署及教育科研等资源受限环境。

weixin_30627341的博客 508

Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索

前言 训练模型时,一般我们会把模型model,数据data和标签label放到GPU显存中进行加速。 但有的时候GPU Memory会增加,有的时候会保持不变,以及我们要怎么清理掉一些用完的变量呢? 下面让我们一起来探究下原理吧! pytorch训练 只要你把任何东西(无论是多小的tensor)放到GPU显存中,那么你至少会栈1000MiB左右的显存(根据cuda版本,会略有不同)。这部分显存是cuda running时固有配件必须要占掉的显存,你先训练过程汇总也是无法释放的。 import torch

捡起一束光的博客 9万+

GPU 显存释放

【代码】GPU 显存释放。

727

大模型低显存推理优化技术:Offload 策略详解

本文介绍 Offload 技术

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 1496

libtorch显存管理示例

在使用libtorch进行部署时,会面临显存不够用的情况。因此需要对显存的利用进行管理,对此研究libtorch的api,尝试进行显存管理。libtorch运行程序时,显存占用可以分为3块:模型参数占用显存、输入输出tensor占用显存、模型forword过程临时变量占用显存。使用cudaFree(tensor.data_ptr())可以释放掉tensor所占用的显存,也可以使用该函数释放掉模型参数所占用的显存。使用CUDACachingAllocator::emptyCache函数可以释放掉模型在forw

a486259的博客 3793

01_MySQL下载、安装与配置(以MySQL8.0.31版本为例)

1.点击下载好的mysql安装包 进入到mysql installer界面。2.选择MySQL Servers选项 一直下拉。

4826

Tesla V100 在 Windows 下的驱动选择与模式切换实战

本文详细解析了Tesla V100专业计算卡在Windows系统下的驱动安装与模式切换实战。针对设备管理器识别但任务管理器“隐身”的常见问题,文章指出其默认TCC模式为纯计算设计,并指导用户正确选择数据中心或GRID驱动。核心在于通过注册表修改或驱动选择,在高效的TCC模式与便于监控的WDDM模式间切换,同时提供了nvidia-smi命令行监控与AI框架测试等稳定使用方案。

weixin_29247219的博客 1814

(PyTorch C++内存管理黑科技):实现零内存泄漏的工业级部署方案

掌握PyTorch C 前端的内存管理核心技巧,实现工业级部署中零内存泄漏。适用于高性能推理服务场景,结合智能指针与资源生命周期控制,提升系统稳定性与运行效率,值得收藏。

FuncFun的博客 777

SpringBoot与Flowable整合:构建高效审批工作流的实战指南

本文是一份SpringBoot与Flowable整合构建高效审批工作流的实战指南。通过一个经典的二级审批场景,详细介绍了从项目搭建、BPMN流程设计、核心服务编写到RESTful API构建的完整步骤。文章深入探讨了如何利用Flowable工作流引擎实现审批流程的自动化驱动与灵活管理,并分享了变量管理、监听器、异步执行等进阶技巧与常见避坑指南,帮助开发者快速构建健壮、可维护的企业级审批系统。

qsc9012345的博客 524

AI模型部署实战:从GPU显存优化到分布式资源管理

在深度学习与AI模型部署领域,GPU显存管理是核心工程挑战之一。其原理在于通过精细控制计算图、张量精度与内存分配策略,最大化硬件资源利用率。这项技术的价值在于能显著降低推理延迟、提升吞吐量,并让有限算力承载更大规模的模型。常见的应用场景包括自然语言处理中的大模型服务、计算机视觉的高分辨率推理以及推荐系统的实时预估。针对显存不足(OOM)和GPU利用率低下的问题,开发者需要掌握从单卡优化到多卡并行的系统性方法。本文聚焦于模型并行、数据并行等分布式策略,并结合自动混合精度(AMP)和显存池化等热词,为资源受限环

weixin_34268843的博客 1012

NotebookLM平替实测:用Open Notebook+Ollama零成本搭建私有AI知识库

本文提供了一份详细的实战指南,教你如何利用Open Notebook与Ollama,在本地零成本搭建一个功能强大且完全私有的AI知识库。通过Docker容器化部署,实现数据绝对安全、模型自由选择与离线运行,是NotebookLM等云端工具的绝佳平替方案,尤其适合注重数据隐私的教育工作者、研究者及小团队。

weixin_29052717的博客 515

GEM5教程--gem5开始之旅(一)

GEM5系列教程--gem5开始之旅一、建立GEM5 GEM5模拟器是一个用于计算机系统结构研究的模块化平台,包含系统级别的结构以及处理器的微体系结构。读者若想详细的了解,请查看其官方文档GEM5文档 读者如果想要入门GEM5的话,可以参考Learning_GEM5这个网站,这里面有较为详细的教程,可以带读者从入门到精通。小编我对GEM5的入门学习也是从这个Learning_GEM5这个网站学习的...

qq_43381135的博客 3万+

GPU架构SIMT:为什么你的PyTorch模型跑不满、显存报错、卡顿

GPU计算的核心范式不是抽象概念,而是硬件级执行机制——SIMT(单指令多线程)。它决定CUDA Core如何以Warp为单位锁步调度32个线程,统一指令、独立数据,并通过掩码处理分支。这一机制直接约束内存访问是否合并、分支是否发散、寄存器与共享内存如何分配,进而影响GPU利用率、显存占用和训练吞吐。在PyTorch/TensorFlow等框架中,自动优化常掩盖底层SIMT反模式,如for循环逐元素操作、非对齐内存访问、条件判断密集的自定义算子。理解SIMT,是解决GPU卡顿、CUDA out of mem

weixin_34006468的博客 361

一文读懂 STAR-CCM+:多物理场仿真王者,从入门到精通全攻略(附实战路线)

STAR-CCM+是西门子旗下的多物理场仿真平台,集流体、传热、结构、电磁等耦合求解于一体。其核心优势包括:全自动网格处理技术(支持十亿级网格)、多物理场无缝耦合、CPU/GPU并行加速计算、流程自动化与设计探索等。广泛应用于汽车(空气动力学优化、电池热管理)、航空航天(气动设计、发动机仿真)、能源(风电叶片流固耦合)、电子(芯片散热)等行业。相比ANSYS Fluent和OpenFOAM,STAR-CCM+在多物理场耦合和复杂几何处理方面更具优势,适合工业级高精度仿真需求。学习路径建议从基础操作入手,逐步

源代码杀手的博客 348

llm.cpp:面向本地大模型部署的C++底层推理运行时

大语言模型本地部署的核心挑战在于确定性、可控性与跨环境一致性。C++凭借零抽象内存布局、ABI稳定性与实时性保障,成为构建高可靠推理运行时的首选语言;GGUF作为自描述二进制模型格式,实现了‘模型即文件’的交付范式,天然支持跨框架加载与量化固化;而CUDA的精细化控制(如架构精准匹配、GPU层粒度分片)则直接决定了性能边界的可预测性。本文聚焦llm.cpp这一轻量级C++运行时,解析其如何通过剥离UI/网络/自动调度等高层抽象,为开发者提供对GGUF模型加载、CUDA kernel调度与显存分配的全程可观测

418

回归预测 | MATLAB实现SVR(支持向量机回归)K折交叉验证

回归预测 | MATLAB实现SVR(支持向量机回归)K折交叉验证 目录回归预测 | MATLAB实现SVR(支持向量机回归)K折交叉验证基本介绍划分原理留一划分交叉验证K折交叉数据下载程序设计参考资料致谢 基本介绍 在机器学习里,通常来说我们不能将全部用于数据训练模型,否则我们将没有数据集对该模型进行验证,从而评估我们的模型的预测效果。为了解决这一问题,有如下常用的方法: 第一种是最简单的,也是很容易就想到的。我们可以把整个数据集分成两部分,一部分用于训练,一部分用于验证,这也就是我们经常提到的训练集

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 6379

Android系统修改驱动固定USB摄像头节点绑定前后置摄像头

Android系统中usb摄像头节点会因为摄像头所接的usb口不同或者usb设备识别顺序不一样而出现每次开机生成的video节点不一样的问题。由于客户app调用摄像头时,需要固定摄像头的节点。因此需要针对前面的情况做处理。

Android系统开发笔记 2252

Qwen3.5+llama.cpp单GPU部署实战:金融量化场景下的轻量高效推理方案

大语言模型(LLM)本地化部署是当前AI工程落地的核心挑战之一,其本质在于平衡模型能力、硬件约束与任务确定性。量化推理(quantization)通过权重压缩显著降低显存占用,使9B级模型可在RTX 3090等消费级GPU上稳定运行;llama.cpp作为纯C/C++实现的推理框架,凭借GGUF格式优化、CUDA内核预编译和零Python依赖特性,大幅减少启动延迟与内存抖动,成为金融类低延迟、高稳定性场景的理想选择。该技术路径不追求全参数微调或通用对话能力,而聚焦结构化输出、可复现逻辑与生产级健壮性,广泛适

agcozdwdfvds08078的博客 461

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

llama.cpp CPU/GPU混合推理原理与Windows性能调优实战

llama.cpp 是一款面向本地部署的轻量级大模型推理引擎,其核心特性在于对 GGUF 模型格式的原生支持与显式硬件调度能力。不同于 PyTorch 或 Ollama 的自动优化机制,llama.cpp 采用张量分层卸载(tensor offloading)策略,通过 --n-gpu-layers 参数精确控制计算任务在 CPU 与 GPU 间的分配,本质是内存带宽、显存容量与计算密度三者间的工程权衡。该机制在 Windows 11 环境下面临 WDDM 驱动限制、PCIe 带宽瓶颈及 Defender

weixin_33762130的博客 409

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Gemma 2本地部署实战:零显存压力跑通大模型推理

大语言模型(LLM)本地部署是实现数据隐私、低成本运维与深度可控推理的关键路径。其核心原理在于模型轻量化(如4-bit AWQ量化)、高效注意力机制(GQA+Flash Attention 2)与软硬协同优化(CPU/GPU分层卸载)。技术价值体现在无需云端API、规避订阅费用与敏感数据外泄风险,同时兼容老旧硬件——例如16GB内存MacBook或RTX 3060即可流畅运行Gemma 2-2B/9B。典型应用场景覆盖法律文书离线审查、政务问答系统、学生AI实验及安卓Termux端边缘推理。本文聚焦Gemm

A08110123的博客 554

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

llama.cpp:纯C++ LLM推理框架的极致性能与跨平台部署指南

在深度学习领域,模型推理的效率和部署便捷性是工程实践中的核心挑战。传统框架往往依赖复杂的运行时环境,而llama.cpp通过纯C++实现和GGUF格式,从底层重构了推理流程,实现了零依赖部署与硬件级性能优化。其技术价值在于将前沿的大语言模型能力带入资源受限的边缘设备与异构计算环境,显著降低了AI应用的门槛。通过量化技术如Q4_K_M,它能在保持较高精度的同时大幅压缩模型体积,结合内存映射等机制,使得在普通PC、Mac甚至树莓派上运行数十亿参数模型成为可能。应用场景涵盖本地智能助手、嵌入式AI、低成本API服

weixin_33728708的博客 598

AI服务器涨价15%?内存才是幕后推手,附应对策略

在AI基础设施成本持续攀升的背景下,内存(DRAM)与高带宽内存(HBM)的供需失衡正成为影响服务器整机价格的关键变量。DDR5服务器内存条、HBM显存及NAND/SSD的成本上涨,导致AI训练与推理服务器的整机采购价显著上升,甚至打乱了英伟达GPU的供应节奏。对于开发者和企业而言,理解内存在AI服务器成本结构中的真实占比,比单纯关注显卡价格更为重要。通过模型量化(如INT8/INT4)、推理框架的显存优化(vLLM、llama.cpp)、并发控制与数据加载链路调优,可以在不增加硬件投入的情况下提升现有资源

weixin_30363509的博客 354
上一篇: 【农业物联网MQTT实战指南】:手把手教你用Python实现高效数据传输
下一篇: 错过等于损失一个亿:Python驱动BLAST在基因组研究中的7大应用场景
CodeWhim
博客等级 码龄1年 153粉丝 2003原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值