玩转树莓派4B-部署LLM大模型-1

树莓派跑大模型?别慌,咱们有套路! 大家好,我的亲爱的小伙伴们!今天我们来聊聊一个看似“天方夜谭”的话题:如何在资源有限的硬件上跑起大模型。什么硬件?比如咱们熟悉的树莓派这种“小身板”。是的,我知道你可能在想:“树莓派跑大模型?你当它是钢铁侠的芯片啊?别急,听我慢慢给你摆。 阅读详情
AI摘要

本文介绍在树莓派搭建qwen2 0.5b模型推理服务的方法。先阐述人工智能发展浪潮及大语言模型的兴起,接着说明环境准备,包括安装Python库、下载模型和编译代码,还介绍了模型推理对话、服务及调用方法。最后分享大模型学习经验和资料,鼓励学习大模型。

在这里插入图片描述

实验环境

  • Raspberry Pi4 8G
  • Raspiois_arm64
  • llama.cpp
  • qwen2-0_5b-instruct-q5_k_m.gguf
  • modelscope
  • openai

前言

​ 这几年人工智能很火,事实上,以1956年达特茅斯会议为节点开始,到现在人工智能经历了三次主要的浪潮,现在正是第三次浪潮。杰弗里·埃弗里斯特·辛顿(Geoffrey Everest Hinton)在2006年发表的一篇论文《A fast learning algorithm for deep belief nets》,标志着机器学习里的一个重要分支深度学习的出现,深度学习简单来说就是借鉴人脑的神经网络,搭建一个神经网络模型,具有输入层、隐藏层和一个输出层,让模型去学习人类输入进去的数据,得到经验。

​ 而真正引爆第三次人工智能浪潮的是2012年由辛顿(Hinton)和他的学生伊利亚・苏茨克沃(Ilya Sutskever)以及亚历克斯・克里切夫斯基(Alex Krizhevsky)设计出的AlexNet深度神经网络,第一次使用了nvidia的显卡进行矩阵的并行计算,表现出了GPU在深度神经网络训练上表现出的惊人能力。由此大家似乎看到了我们一直想要实现的可以自主学习的人工智能有了实现的可能。时至今日,在人工智能(Artificial Intelligence)这个领域已经产出了诸多的路线和理论。

​ 近两年比较火的便是LLM大语言模型,其属于NLP自然语言处理这个子领域,2017年由Google的研究人员发表了一篇论文,提出了一种名叫Transformer的序列建模神经网络架构,后续基于transformer的相关研究,则催生了两个最著名的Transformer模型类别:生成预训练Transformer——GPT和基于Transformer的双向编码器表示——BERT。后来在2022年年底由Openai发布的ChatGPT则引发了人们惊叹生成式AI的不可思议,到今天已经一年半过去,在这段时间里催生了诸多新的研究,可以乐观的想,是时候了,就趁现在。

​ 随着大模型不断的变小,人们希望大模型能够就在自己的手机里运行。下面我将演示在树莓派搭建一个qwen2 0.5b的模型推理服务,可以像调用OpenAI的服务一样使用。

环境准备

1.安装python库

在这里插入图片描述

2.下载qwen2模型

由于huggingface在国内访问比较麻烦,可以考虑在modelscope上下载,这是由阿里云搭建的跟huggingface一样的平台。

在这里插入图片描述

也可以使用modelscope来下载

在这里插入图片描述

3.下载llama.cpp

3.1下载代码仓库
git clone https://github.com/ggerganov/llama.cpp
3.2 编译

这里的编译是CPU编译,对于有CUDA等GPU推理的环境可以针对相应的硬件进行编译。

在这里插入图片描述

也可以使用cmake编译

在这里插入图片描述

使用make编译后的文件就在当前目录下,使用cmake编译后的文件在build/bin目录下

编译成功后可看见

在这里插入图片描述

使用

1.使用llama.cpp实现模型推理对话

此处使用cmake编译,需要进入build/bin目录,如果使用make编译,注意相对路径的问题

在这里插入图片描述

在这里插入图片描述

2.使用llama.cpp实现模型推理服务

./llama-server -m /home/pi/qwen2-0_5b-instruct-q5_k_m.gguf -n 1024 --host 0.0.0.0 --
port 8000

在这里插入图片描述

3.使用openai调用推理服务

在这里插入图片描述

在这里插入图片描述

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上 AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享 出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

树莓派如何结合大语言模型 在你的Python代码中定义一个函数,用于调用OpenAI API并执行相应的操作。 阅读详情

相关推荐

树莓派5部署DeepSeek-R1:边缘AI大模型实战指南

大语言模型(LLM)作为人工智能领域的核心技术,通过深度学习架构实现对自然语言的理解与生成。其工作原理基于Transformer架构,通过自注意力机制处理序列数据,在训练中学习海量文本的统计规律。这项技术的核心价值在于将复杂的语言任务自动化,为智能对话、内容创作等场景提供基础能力。在工程实践中,模型量化技术通过降低参数精度来减少资源消耗,使大模型能在资源受限的边缘设备上运行。边缘计算范式将数据处理从云端转移到本地设备,有效解决了数据隐私、网络延迟和离线可用性等关键问题。本文聚焦于如何在树莓派5这类微型计算机

weixin_33761747的博客 385

如何在树莓派上部署本地化语言大模型

本文介绍了Ollama开源跨平台大模型的安装和使用方法。主要内容包括:1)通过命令行安装Ollama并下载不同量级的本地模型;2)利用Python API集成大模型到项目中,包括虚拟环境创建、必要包安装和代码示例;3)扩展语音功能,通过espeak和pyttsx3实现文本语音播报。文章提供了完整的代码示例,涵盖模型调用、流式响应处理和异常处理等内容,帮助开发者在本地高效部署和使用大语言模型。

2403_86795659的博客 1672

树莓派4B部署及测试llamafile

llamafile项目的目标是让开发人员和终端用户更容易访问开源大型语言模型。很多初学者学习大语言模型的时候,都会被模型文件中一大堆复杂的python文件或者cuda配置劝退,为了方便更多的零基础的初学者体验大语言模型,llamafile 提出了单文件运行大模型的方案。

caoyongsheng的博客 1874

MindSpore漫游世界

各位老鹏友、新鹏友们,大家好,我是昇思不知道师张小白。下面由我来向大家介绍一下MindSpore漫游世界的神话。 MindSpore作为一个广谱AI框架(曾经的头孢),适用于很多场合。就拿目力所及的系统而言,MindSpore作为一个小孢子已经在多元平行的世界上野蛮生长了。比如: (1)Windows(仅CPU) 对于MindSpore而言,Windows是最容易让新手上手也是最能让进阶的开发者诟病的平台了。因为众所周知,深度学习的神经网络计算,需要进行大量的矩阵计算,而这点,作为Window

weixin_45666880的博客 721

树莓派4B部署轻量级LLM实战:从模型量化到本地API服务

模型量化是深度学习模型部署中的关键技术,通过将高精度权重转换为低精度格式(如INT4、INT8),能大幅降低模型的内存占用和计算开销,使其能在资源受限的边缘设备上运行。其原理在于减少数据表示的比特数,在可接受的精度损失下换取更高的存储效率和推理速度。这项技术的核心价值在于实现了AI模型的轻量化与本地化部署,为隐私保护、低成本和低功耗应用场景提供了可能。在边缘计算和物联网领域,量化后的模型可以部署在树莓派这类微型计算机上,实现完全离线的智能对话、文本生成等任务。本文以树莓派4B为硬件平台,详细演示了如何利用l

weixin_33853827的博客 474

别再说嵌入式跑不了AI了!实测在树莓派4B上部署TinyLlama-1.1B-Chat(含内存优化技巧)

本文详细介绍了在树莓派4B上部署TinyLlama-1.1B-Chat语言模型的全过程,包括模型量化、内存优化和推理引擎选型。通过4-bit量化和ZRAM交换压缩等技术,成功在4GB内存设备上实现十亿参数级LLM的离线运行,为嵌入式AI应用提供了实用解决方案。

weixin_42713608的博客 289

# 玩转树莓派4B-部署LLM大模型-1

在树莓派4B上部署大模型

qq_43055565的博客 2188

解放双手!利用海康VM全局脚本+通讯管理打造自动化视觉控制系统

本文深入探讨了如何利用海康VisionMaster(VM)的全局脚本和通讯管理功能,打造高效自动化视觉控制系统。通过全局变量实现数据共享与动态调整,结合多协议通讯管理,提升系统响应速度与智能化水平,适用于工业4.0环境下的复杂视觉检测与决策场景。

weixin_28720573的博客 425

通义千问3-4B部署教程:树莓派4上运行大模型详细步骤

本文介绍了基于星图GPU平台自动化部署通义千问3-4B-Instruct-2507镜像的完整流程,结合Llama.cpp与GGUF量化技术,实现该模型在树莓派4等边缘设备上的高效运行。该镜像适用于本地化AI推理、模型微调及私有知识库问答系统构建,为端侧AI应用开发提供轻量高性能解决方案。

weixin_32242475的博客 719

组态王|通过日历控件选择时间段查询历史报警

哈喽,你好啊,我是雷工!这节记录下查询历史报警信息的功能实现。以下为实现笔记。

做有价值的事,积累有价值的笔记! 3772

MDM主数据清洗和编码集成说明

绝大多数的企业业务系统是伴随业务发展而建设的,但随着业务发展单一系统难以支撑企业业务闭环。MDM主数据管理平台可以满足企业数据治理的需求,本文针对主数据清洗和编码集成进行梳理。...

数通畅联 3321

树莓派跑大模型不是梦!DeepSeek-R1-Distill-Qwen-1.5B实战

本文介绍了基于星图GPU平台自动化部署DeepSeek-R1-Distill-Qwen-1.5B镜像的完整方案。该轻量级大模型仅需3GB显存,支持函数调用与JSON输出,可在树莓派等边缘设备上高效运行,适用于本地AI助手、智能编程辅助等场景,实现低延迟、离线化的AI应用开发与部署。

weixin_42561464的博客 1114

STM32F4用FSMC驱动AX58100 EtherCAT从站芯片,保姆级配置流程与避坑指南

本文详细介绍了STM32F4通过FSMC接口驱动AX58100 EtherCAT从站芯片的完整配置流程,包括硬件连接、时序优化、协议栈移植及TwinCAT主站集成。针对工业自动化场景,提供高性价比的实时控制解决方案,特别适合机械臂、CNC机床等精确同步应用,并分享关键调试技巧与性能优化方法。

weixin_27869497的博客 308

Qwen1.5-1.8B-Chat-GPTQ-Int4开源大模型:vLLM在树莓派5+USB加速棒边缘部署可行性

本文介绍了如何在星图GPU平台上自动化部署通义千问1.5-1.8B-Chat-GPTQ-Int4开源大模型,实现高效的边缘计算应用。该轻量级对话模型经过GPTQ-Int4量化优化,特别适合在资源受限的设备上运行,可广泛应用于智能客服、个人知识助手等场景,显著提升边缘AI应用的响应速度和部署效率。

weixin_42601134的博客 423

AD9613操作控制

输出250M时钟给AD9613,过FPGA ILA逻辑分析仪将AD9613采集的两个通道ADC数据250M数据显示出来。其中AD9613输出的是LVDS数据,通过select IO核转为并行数据。 一,搜索IP核:selectIO interface wizad ,并双击配置 配置为input,DDR模式,数据位宽为12bit,IO类型为差分,这里配置的是12对数据差分对。然后配置外部差分时钟。 将tap setting 设置为13,将时钟的边沿对准数据的中间,以免数据出错 二,

wangjie36的博客 4050

非结构化数据在大数据湖中的应用实践

想象一下,你正在整理一个杂乱的书房。有些书整整齐齐地放在书架上,每本书都有明确的标题、作者和出版日期——这些就是结构化数据,它们像数据库中的表格,有固定的格式和字段。但书房里还有更多东西:散落的照片、手写的笔记、录音带、视频光盘、甚至还有画作。这些物品没有固定的格式,每件都独一无二——这就是非结构化数据。在技术术语中,非结构化数据是指没有预定义数据模型或组织形式的信息。文本文档(Word、PDF、TXT)电子邮件和社交媒体内容图像和照片(JPG、PNG)音频文件(MP3、WAV)

软件工程实践的博客 362

低成本AI翻译方案:HY-MT1.8B树莓派4B实机部署教程

本文介绍了基于星图GPU平台自动化部署HY-MT1.5-1.8B镜像的完整方案,结合vLLM与Chainlit在树莓派4B上实现轻量级AI翻译系统。该平台支持高效模型推理与本地化应用开发,适用于多语言实时翻译场景,兼顾低成本、高隐私与边缘计算需求。

weixin_34471637的博客 567

2026年经典爬虫案例专栏|第17篇:学术论文爬虫实战——知网与万方数据采集

字段名说明数据类型title论文标题字符串authors作者列表列表abstract摘要字符串keywords关键词列表列表journal发表期刊字符串year发表年份整数volume卷号字符串issue期号字符串pages页码范围字符串citations引用次数整数downloads下载次数整数doiDOI编号字符串url论文链接字符串学术论文爬虫是科研工作的重要辅助工具,可以帮助研究人员高效地收集和管理论文数据。

2201_76125261的博客 1065

Nanbeige4.1-3B入门必看:3B模型在树莓派5+USB GPU(如RTX 3050)边缘部署

本文介绍了如何在星图GPU平台上自动化部署Nanbeige4.1-3B 3B参数级通用小语言模型。该平台简化了部署流程,用户可快速搭建环境,将这一轻量级模型应用于构建智能聊天助手、代码生成或文档分析等边缘AI场景,实现低成本的私有化AI服务。

weixin_34392511的博客 773

【光子 AI 】LangGraph:Graph = 有向有环图 + 状态机实现原理详解:数据结构模型与核心算法代码实现逻辑解析

LangGraph核心原理解析:基于Pregel模型的消息传递图,结合有向有环图和状态机特性。关键实现包括:1) 共享状态机制(TypedDict/Pydantic模型)配合Reducer逻辑实现状态更新;2) 图拓扑结构通过邻接表维护节点和条件边;3) 检查点机制支持状态持久化和恢复。运行时采用Pregel循环算法,通过超级步迭代执行节点函数、应用状态归约、条件路由下一批节点,同时支持人工中断和异步并行处理。该架构使LangGraph具备循环执行、条件跳转等DAG无法实现的动态流程控制能力。

AI天才研究院 1041

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

DeepSeek 1.5B到671B:如何用树莓派和消费级显卡低成本部署大模型(附量化技巧)

本文详细介绍了如何在树莓派和消费级显卡上低成本部署DeepSeek大模型(1.5B到671B参数),重点解析了量化技术与硬件优化策略。通过量化技术(如4-bit和8-bit)和合理的硬件配置(如RTX 3060、RTX 4090等),开发者可以在有限预算下高效运行AI模型,适用于个人开发者和中小企业。文章还提供了树莓派部署实战、多卡分布式方案及性能调优技巧。

omega的博客 784

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

通义千问3-4B降本部署实战:树莓派4也能跑的低成本GPU方案

本文介绍了如何在星图GPU平台自动化部署通义千问3-4B-Instruct-2507镜像,实现低成本AI助手搭建。该镜像支持在树莓派等轻量设备上运行,适用于个人知识库问答、代码辅助生成及内容创作等场景,显著降低AI应用部署门槛与成本。

weixin_28931507的博客 1009

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Qwen3-4B低成本部署方案:树莓派4运行大模型实操手册

本文介绍了如何在星图GPU平台上自动化部署通义千问3-4B-Instruct-2507镜像,实现轻量级大语言模型的高效本地化运行。依托星图GPU的容器化调度能力,用户可一键完成模型加载与服务启动,典型应用于离线知识库问答、本地文档智能摘要及嵌入式AI助手等场景,兼顾性能与隐私安全。

weixin_42627459的博客 387

Qwen3-0.6B-FP8真实案例:学生用树莓派4B部署Qwen3轻量对话助手

本文介绍了如何在星图GPU平台上自动化部署Qwen3-0.6B-FP8(内置模型版)v1.0镜像,快速搭建轻量级AI对话助手。该镜像经过FP8量化优化,资源占用低,特别适合在资源受限的边缘设备(如树莓派)上部署,可用于构建个人学习助手、代码调试和智能问答等应用场景。

weixin_36311421的博客 1012

Qwen2.5-1.5B轻量大模型部署:树莓派5+USB加速棒边缘端运行可行性验证

本文介绍了如何在星图GPU平台上自动化部署🧠Qwen2.5-1.5B 本地智能对话助手镜像,实现低资源消耗的私有化AI对话服务。该轻量大模型可在边缘设备高效运行,典型应用场景包括教育辅助(如初中物理题自动解析)、内容创作(如小红书风格文案生成)及技术问题实时诊断,全程离线、隐私安全、响应迅速。

weixin_31641077的博客 1012

树莓派跑大模型?DeepSeek-R1-Distill-Qwen-1.5B轻量化部署实战

本文介绍了基于星图GPU平台自动化部署DeepSeek-R1-Distill-Qwen-1.5B镜像的完整实践,该轻量级大模型经量化后可在树莓派等边缘设备高效运行。通过vLLM与Open WebUI集成,实现本地化AI应用,适用于代码生成、数学解题等场景,助力开发者快速构建私有化智能服务系统。

weixin_35734408的博客 416
上一篇: Llama-3.2-3B-Instruct PyTorch模型微调最佳实践
下一篇: 作为普通产品经理,想转型AI产品经理,需要做哪些准备?
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值