墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
5.6k累计阅读
5.7k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
AI摘要
博主使用LLaMA-Factory时弹出未检测到CUDA的报错，原因一是安装的是CPU版本pytorch，二是CUDA和pytorch版本不对应。博主本机CUDA最高支持12.6，装了12.2版本，python为3.11。经一系列操作，最终去官网下载适配的GPU版本pytorch，安装12.4版本成功，问题解决。
前置条件：电脑显卡RTX 4080
问题：LLaMA-Factory在运行的时候，弹出未检测到CUDA的报错信息
结论：出现了以上的报错，主要可以归结于以下两个方面：
1、没有安装GPU版本的pytorch，下载的是CPU版本的pytorch；
2、安装的CUDA和安装的pytorch的版本不相互对应。
这里要注意，python的版本对应者pytorch的版本，pytorch的版本又对应着CUDA的版本。
可以参考这个博文：Torch not compiled with CUDA enabled问题解决过程记录-优快云博客
问题解决过程：
我本机出现这个报错时的CUDA环境是这样的：
最高支持12.6，我装了12.2版本的cuda。python版本为3.11。
为解决问题所进行的操作：
1.看到llamaFactory的python版本推荐，于是将python的版本降到了3.10。没能解决。
llama-factory学习个人记录
1.llama-factory部署在LLaMA-Factory项目中，单显卡可以用命令或训练，多显卡只能用用命令的方式。
使用LLaMA Factory微调导出模型，并用ollama运行，用open webui使用该模型
使用llama factory微调模型，导出模型，使用ollama加载运行模型，使用open webui页面调用模型；
Llama Factory 使用指南
下载模型 → 准备数据 → 选择训练方式（LoRA/QLoRA/DPO）→↓命令行 or WebUI 启动训练 → 监控 loss → 保存 Adapter →↓合并模型 or 直接加载推理 → API 部署 or 本地测试🎯Llama Factory 让大模型微调不再高不可攀 —— 无论你是学生、研究员还是工程师，都能快速定制属于自己的 AI 助手。立即动手，开启你的 LLM 微调之旅吧！🚀。
【个人开发】deepspeed+Llama-factory 本地数据多卡Lora微调【完整教程】
处理方式还是调整参数，使用Lora微调时的常见参数，q_proj,v_proj,k_proj,gate_proj,up_proj,o_proj,down_proj。上一篇文件写到，macbook微调Lora，该微调方式，同样适用于GPU，只不过在train.py脚本中，针对device，调整为cuda即可。这种tensor的问题，很可能是模型冲突的问题，比如调到一半，然后重新提调，指到相同的路径。其他参数，其实就是常规使用peft进行lora微调的常见参数，以及常见的微调参数，可以对照如下。
12 大模型学习——LLaMA-Factory微调
Alpaca 格式由斯坦福大学的研究人员提出，主要用于单轮指令微调任务。针对不同任务，数据集的格式要求不同。应用场景：- 适用于单轮任务，如问答、文本生成、摘要、翻译等。- 结构简洁，任务导向清晰，适合低成本的指令微调。
微调框架Llama-factory和Unsloth：应该选择哪个？
测试表明，UNSLOTH和LLAMA-FACTORY在社区支持、模型种类和易用性上相近，但UNSLOTH在微调速度上表现突出。尽管处理的数据量是LLAMA-FACTORY的20倍，UNSLOTH的速度仍快约2.5倍，极大优化了时间成本，尤其在大规模数据处理中的效率优势显著。
LLaMA-Factory 微调 qwen3
本报告旨在提供一份关于使用 LLaMA-Factory 微调通义千问 3（Qwen3）大语言模型（LLM）的全面操作指南。LLaMA-Factory 是一个开源工具包，旨在简化和加速 LLM 的微调过程。报告将深入探讨 LLaMA-Factory 的操作方法、命令行使用、各项参数的详细含义，以及提升训练效率和节约显存的关键优化策略。
CUDA检测失败的解决方案
多个CUDA版本冲突：如果您的系统上同时安装了多个CUDA版本，可能会导致冲突和CUDA检测失败。在这种情况下，您可以尝试卸载除您正在使用的CUDA版本以外的其他版本。在上面的代码中，我们使用PyTorch库来检测CUDA设备的可用性。CUDA驱动程序未正确安装：首先，请确保您已正确安装了与您的CUDA版本相匹配的CUDA驱动程序。GPU驱动程序不兼容：有时，CUDA版本与您的GPU驱动程序不兼容，这可能导致CUDA检测失败。您可以尝试更新您的GPU驱动程序，以确保其与所使用的CUDA版本兼容。
基于LLaMA-Factory的微调记录
由于不需要考虑多轮对话，所以history可以不要，这里采用了两种数据集的组织方式，一种是只有instruction和output，把问题作为instruction，另外一种是把问题作为input，把回答问题这一要求作为instruction。微调时一般需要准备三个数据集：一个是自我认知数据集（让大模型知道自己是谁），一个是特定任务数据集（微调时需要完成的目标任务），一个是通用任务数据集（保持大模型的通用能力，防止变傻）。测试的大模型可以使用这些，注意要下载最新版，老版的模型结构不太匹配。
Python控制tek示波器（1）
如何使用Python来控制tek示波器
初识机会网络仿真器ONE中ExternalMovement移动模型（导入外部移动数据）
最近半个月一直在研究ONE中关于ExternalMovement移动模型的源代码，在网上几乎没有找到相关的资料，很是苦恼，如果有共同研究方向的小伙伴欢迎联系我，共同讨论进步。 下面记录一下几点感悟： 1、使用外部数据的前提是在ONE的配置文件中增加及修改相关代码： Group.movementModel = ExternalMovement ExternalMovement.file = move...
FAA和EASA在机载电子硬件适航中的发展历史与差异
FAA和EASA在机载电子硬件的适航审查中虽然存在一些差异，但通过近年来的合作，这些差异正在逐步缩小。两者通过。
Python爬虫实战：逆向解析天猫商品详情API，精准捕获规格、SKU与促销活动
及浏览器开发者工具），绕过前端渲染的复杂性，直接逆向分析并调用其内部数据接口，从而高效、稳定地抓取商品的关键信息，包括商品规格、多维度SKU信息以及复杂的促销活动。print(f"SKU ID: {sku.sku_id}, 价格: ￥{sku.price}, 库存: {sku.stock}, 规格: {sku.props}")当你访问一个商品链接时，浏览器首先会加载一个几乎为空的HTML骨架，然后通过执行大量的JavaScript代码，向后台服务器发起多个异步请求，最终将获取到的数据填充到页面中。
【GameFramework框架内置模块】8、文件系统（File System）
最近好忙，鸽了好久。不能颓废了，继续发力。今天分享的是GF框架的文件系统。首先，引用比较官方的说法：GF的FileSystem虚拟文件系统，使用类似磁盘存储的感念对零散的文件进行集中管理，优化资源加载时产生的内存分配，也可以对资源进行局部片段加载，极大的提升了资源加载的性能。通俗点讲就是，我这个模块就是加载磁盘文件的，优化加载时产生的内存分配。那么，它是怎么优化的呢？
Flink 运维监控与指标采集实战（Prometheus + Grafana 全流程）
Flink运维监控在实时计算场景中至关重要，因为Flink作业需要7×24小时稳定运行，对性能、资源、故障感知和状态变化的实时监控是保障系统稳定的关键。Flink自带的Metrics系统提供了基本的监控能力，但为了更全面的监控，Prometheus+Grafana成为最主流的解决方案。通过配置PrometheusReporter和Grafana仪表盘，可以实现对Flink作业的全面监控，包括CPU、内存、吞吐量、Checkpoint状态、KafkaSink性能等关键指标。此外，自定义指标采集和报警机制的配置
【Linux】Windows11 安装 WSL2 并运行 Ubuntu 22.04 详细操作步骤
Windows 11 安装 WSL2 和 Ubuntu 22.04 指南 本文详细介绍在 Windows 11 上安装 WSL2 和 Ubuntu 22.04 的完整步骤，包括： WSL2 与 VirtualBox 的性能对比优势 系统版本检查与升级方法 两种安装方式（一键安装和手动安装） Ubuntu 22.04 的安装与配置 存储位置管理及迁移技巧 常用 WSL2 命令速查表 文章还提供了性能优化建议和常见问题解决方案，适合开发者和 Linux 爱好者快速搭建高效的开发环境。
YOLOv11改进 | 模型知识蒸馏篇 | 利用模型蒸馏改进YOLOv11进行无损涨点 | 在线蒸馏 （附代码 + 完整文件 + 解析教程）
这篇文章给大家带来的最新改进是模型的蒸馏，利用教师模型指导学生模型从而进行模型的涨点，本文的内容不仅可以用于论文中，在目前的绝大多数的工作中模型蒸馏是一项非常重要的技术，所以大家可以仔细学习一下本文的内容，本文从YOLOv11的项目文件为例，进行详细的修改教程，文章内包括完整的修改教程，针对小白我出了视频修改教程，如果你还不会我提供了修改后的文件大家直接运行即可，所以说不用担心不会适用！模型蒸馏真正的无损涨点，蒸馏你只看这一篇文章就足够了，本文内容为在线蒸馏教程，之前的文章为离线蒸馏！
精雕软件(JDpaint) 5.5 绿色版
精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版
VC中sqlite的使用
在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示
华为的C语言编程规范.pdf
华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。
android 蓝牙通讯demo
android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
5023
扫一扫
