guidance 使用GPU启动本地大模型

已于 2024-03-28 12:16:20 修改
阅读量232 收藏
点赞数 4
文章标签： python 开发语言
于 2024-03-28 12:15:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hz1988a/article/details/137107417
版权
本文介绍了如何通过pip和CMAKE安装特定的llama.cpp扩展，同时提供了必要的命令行参数，以及如何验证安装是否成功，并提到了利用guidance调用大模型的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

安装guidance

pip install guidance

安装llama.cpp扩展（一定要用这个命令）

CMAKE_ARGS="-DLLAMA_CUBLAS=on"  FORCE_CMAKE=1  pip install llama-cpp-python

测试是否安装成功

使用guidance调用大模型

一品武夫
关注
如何在 M3 Max MacBook Pro 上本地使用 Flux Schnell
iCloudEnd的博客
08-08 346
Flux Schnell 是一个功能强大的文本到图像生成模型，可以根据文本描述创建高质量的图像。在本教程中，我们将介绍在 M3 Max MacBook Pro 上本地设置和运行 Flux Schnell 的过程。此设置可高效生成图像，最多可利用 40GB 的 RAM，每张图像大约需要 30 秒。
aws搭建深度学习gpu_选择合适的GPU进行AWS深度学习
weixin_26632369的博客
07-19 2530
aws搭建深度学习gpuA decade ago, if you wanted access to a GPU to accelerate your data processing or scientific simulation code, you’d either have to get hold of a PC gamer or contact your friendly neighborh...
提升大模型性能：利用Guidance技术实现输出的高可靠性与稳定性
07-27 403
`{{gen 'rewrite' stop="\n-"}}`: 这是一个生成逻辑的占位符，用于生成文本，其中`'rewrite'`可能是一个自定义的生成函数，`stop="\n-"`指定了生成文本的结束条件。* `{{#select 'chapter'}}...{{/or}}...{{/select}}`: 这是一个Handlebars的逻辑助记符，用于在多个选项中选择一个，这里用于选择章节号。4. ** 函数调用**：允许用户在生成文本的过程中调用自定义函数，增加了生成过程的灵活性。
采用 guidance 提高大模型输出的可靠性和稳定性
weixin_43829633的博客
10-14 1662
在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的"胡说八道"，以提高大语言模型输出的可靠性和稳定性，成为一个具有挑战性的问题。在开发应用的过程中，我发现了微软推出的开源项目 guidance，能够很好地解决这一繁琐问题，本篇文章对此进行详细说明。
llama.cpp 利用intel集成显卡xpu加速推理
十年通信老兵的技术修炼之路——从3G到5G，从地面基站到卫星通信。
03-07 434
用 llama.cpp 调用 Intel 的集成显卡 XPU 来提升推理效率.
探索`guidance`：新一代编程范式的引领者
gitblog_00902的博客
08-12 317
探索guidance：新一代编程范式的引领者 guidance项目地址:https://gitcode.com/gh_mirrors/gui/guidance 在人工智能和机器学习的快速发展中，guidance项目以其独特的编程范式和强大的功能，正逐渐成为开发者和研究者的首选工具。本文将深入介绍guidance项目，分析其技术特点，探讨其应用场景，并总结其独特优势。 项目介绍 guidance是...
guidance使用方式问题
KinboSong的博客
06-01 3364
经验证，sdk和障碍物感知功能可以同时开启 开启障碍物感知功能： （1）开启dji assitant2的障碍物感知功能 （2）开机dji go app的guidance （3）5路传感器必须全部安装，并且安装的位置和方向正确 （4）飞行高度要大于0.5米
使用 RunPod GPU
hawk2014bj的博客
11-12 968
RunPod 可以支持大显存需求的模型，将 Runpod 镜像下载到本地先调试好，例如需要的类库等等，这样可以省时间，有很多平台的都 提供 GPU 租赁，原理都是相似的，就看哪家更便宜些，国内的算力平台更便宜，就是英伟达的卡不好租。
大语言模型(LLM)入门学习路线图
热门推荐
weixin_36751401的博客
02-28 1万+
Github项目上有一个，它涵盖了大语言模型基础学习，LLM前沿算法和架构学习，以及如何将大语言模型进行工程化，是一个很好的帮助初学者入门大语言模型的路线图。
Meissonic 文生图模型：小参数，超轻量，本地部署推理教程
老牛啊
11-16 920
阿里巴巴等联合推出的 Meissonic 文生图模型，仅 1B 参数，能在普通电脑及未来无线端运行推理。本文将详细展示其在笔记本上的本地部署教程，带你领略 Meissonic 的独特魅力与强大功能……
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图(1)
2401_84182337的博客
05-03 1203
近来，随着新一代AI大型聊天机器人ChatGPT火遍科技圈，人工智能生成内容(AIGC)这一领域开始受到学术界、工业界甚至普通用户的广泛关注。AIGC凭借其独特的“创造力”与人类无法企及的创作生成速度掀起了一股人工智能狂潮。但是，利用人工智能模型生成图片、视频等要用到大量数据训练模型，对于算力的要求相较于简单模型也呈指数级的提升，为了快速高效的处理数据集和构建生成模型，在云中训练和部署人工智能模型成为大多数用户和公司的首选。最近受邀参加了亚马逊云科技的云上探索实验室活动，并基于创建、部署了。
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图
2301_77033583的博客
04-28 1161
是一项完全托管的机器学习服务，为数据科学家、开发人员和企业提供了一种简单的方式来构建、训练和部署机器学习模型，而无需考虑底层基础设施的复杂性。提供了一整套机器学习工具，涵盖了数据标记、数据处理、模型训练、超参数调优、模型部署及持续模型监控等基本流程，也提供了自动打标签、自动机器学习、监控模型训练等高阶功能。其通过全托管的机器学习基础设施和对主流框架的支持，可以降低客户机器学习的成本。能够完全消除机器学习过程中各个步骤中繁重的工作，使得开发高质量模型变得更加轻松。用户可以选择使用。
Python深度基础机器学习
cunzai1985的博客
09-22 129
Python深度基础机器学习 (Python Deep Basic Machine Learning) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Artificial Intelligence (AI) is any code, algorithm or technique that enables a ...
使用Python进行机器学习-方法
cunzai1985的博客
09-22 1066
使用Python进行机器学习-方法 (Machine Learning with Python - Methods) Advertisements 广告 Previous Page 上一页 Next Page 下一页 There are various ML algorithms, techniques and methods that can be used...
R3打卡——pytorch实现心脏病预测
qq_52649952的博客
04-07 1650
1.​环境配置与数据加载检查GPU可用性并设置训练设备使用Pandas加载心脏病数据集heart.csv数据集包含13个生理特征和1个目标变量（是否患病）样本总量：303条（示例数据未展示具体维度）​2.数据预处理特征标准化：使用对特征列进行Z-score归一化数据集划分：训练集90%（约273条）测试集10%（约30条）数据张量化：将Numpy数组转换为PyTorch Tensor创建DataLoader：批量大小64未启用shuffle（可能影响训练效果）
python保留关键字详解
最新发布
Python进阶之道
04-11 152
保留关键字是Python语言中具有特殊含义和功能的词汇，这些词汇构成了Python的语法基础。它们不可被重新定义或用作变量名、函数名等标识符，在代码中承担着控制程序逻辑、定义数据结构等重要职责。
PDF 中提取数学公式
活到老、学到老
04-07 763
你如果用 Python 的话，只需要运行。这样你能直接把所有 LaTeX 结果写入。免费额度有限，每天10~20张图。拍照或拖图片即可生成 LaTeX。只适合展示，不适合识别。
stable diffusion本地部署训练自己的模型
04-03
### Stable Diffusion 本地部署与自定义模型训练指南 #### 获取源代码和预训练模型 为了在本地环境中成功部署 Stable Diffusion 并进行自定义模型训练，首先需要从其官方 GitHub 仓库克隆最新的源代码[^1]。此外，还需要下载适合的预训练权重文件。这些权重通常可以在可信的模型共享平台上找到，例如 Hugging Face 或其他经过验证的资源站点。 #### 安装必要的依赖项 一旦获得了源码和初始模型参数，下一步就是配置运行环境。这一步涉及安装 Python 和一系列特定版本的库来支持深度学习框架 PyTorch 及其实现细节中的功能需求。推荐的做法是创建一个新的虚拟环境以隔离不同项目的包冲突： ```bash conda create -n sd_env python=3.9 conda activate sd_env pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt ``` 上述命令序列展示了如何通过 Conda 创建独立的工作区，并利用 pip 工具加载必需软件组件列表 `requirements.txt` 中所列条目。 #### 配置数据集用于微调 当基本架构搭建完毕之后，如果打算进一步优化或者个性化现有的扩散网络，则需准备高质量的数据集合作为输入素材来进行额外的学习过程。此阶段可能包括标注图像类别标签、调整分辨率大小以及其他形式前处理措施确保最终成果质量达到预期标准。 对于希望集成新的艺术风格或是概念至原有体系内的开发者来说，在应用界面里激活 **初始化模型管理** 功能可以帮助更便捷地实现这一目标[^2]。接着按照提示执行 NAS 存储连接以及 API 密匙分配等工作流程环节后，就可以把定制化后的 LoRA 权重或者其他附加模块上传至相应位置供后续调用。 #### 执行实际训练任务 最后，在一切准备工作都已完成的前提下，可以启动脚本来驱动整个再教育周期。下面给出了一段简化版示例代码片段说明大致方法论: ```python from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler import torch pipeline = DiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", custom_pipeline="lpw_stable_diffusion", revision="v1.0" ) # 设置调度器加速收敛速度 scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config) pipeline.scheduler = scheduler def train_model(dataloader): optimizer = torch.optim.AdamW(params=pipeline.unet.parameters(), lr=5e-6) for epoch in range(epochs): for batch in dataloader: loss = pipeline(batch["prompt"], guidance_scale=batch["guidance"]).loss optimizer.zero_grad() loss.backward() optimizer.step() train_model(your_custom_dataloader) ``` 以上程序段落体现了怎样基于已有的管道对象重新定义损失函数计算逻辑并通过梯度下降机制逐步改进内部结构表现性能。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值