书生浦语大模型实战营-课程笔记（5）

最新推荐文章于 2025-12-29 11:31:51 发布
原创 最新推荐文章于 2025-12-29 11:31:51 发布 · 590 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

本文探讨了LLM在移动端部署的新趋势，指出其内存开销大且TOKEN数量不确定性，同时介绍了模型量化的作用，旨在降低内存消耗并提升推理性能。

在这里插入图片描述
LLM部署特点，内存开销大，TOKEN数量不确定
在这里插入图片描述
移动端竟然也可以部署LLM。之前以为只能在服务端部署，移动端作为客户端发起请求来调用大模型。
在这里插入图片描述
LMDeploy用于模型量化
模型量化：降低内存消耗
在这里插入图片描述
推理性能对比
在这里插入图片描述
量化主要作用：降低现存开销

dooooos
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2267
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生·浦语：大模型全链路开源体系（三）——RAG
2301_77286822的博客
01-10 1813
自chatgpt一夜爆火以来，LLM模型，展现出了惊人的发展能力和未来潜力，在人们的人常生活的方方面面发挥着，越来越重要的作用，大学生用它生成论文的草稿、企业在大模型的基础上制作新一代的智能客服，工程师们甚至用它提高芯片设计和开发的效率。为解决幻觉和知识更新的问题，提出了检索增强生成（RAG）方法。所谓RAG就相当于是给模型增加一个外部的知识库，模型遇到专业性强，以及在其训练范围之外的知识时，就可以直接从知识库中寻找，这就极大的缓解了幻觉和知识更新的问题。），运行web_demo.py文件即可。
书生浦语大模型实战营-课程笔记（6）
dooooos的修炼之地
02-20 515
opencompass的整体流程。这个飞书状态上报功能后续可以试试。模型评测的意义与方式。有点类似论文里大家用来比较性能的公开数据集。评测用于减少社会风险这个角度确实没想到过，学到了。
书生浦语大模型实战营-课程笔记（3）
dooooos的修炼之地
02-15 669
区别在于生成了这个prompt，猜测是用数据库里最接近的向量来辅助模型找出答案。涉及了文本相似度匹配，是不是和传统的问答系统（直接匹配数据库）有点类似？本节课主要是跟着教程做的，操作的东西放到作业里记录了。RAG=外挂知识库？优点是成本低，不用重新训练。langchain的介绍，用来构建LLM应用。这里主要记录一些视频里讲的非操作性的东西。RAG的一个整体流程。
书生浦语大模型实战营-课程笔记（4）
dooooos的修炼之地
02-17 601
2.训练时数据为一问一答的形式（input和output）微调分为两种，增量预训练和指令跟随。只需要output的数据进行训练。操作部分的笔记参考git上的文档。1.只对答案计算Loss。xtuner:微调框架。
书生浦语大模型实战营-课程作业（5）
dooooos的修炼之地
02-20 521
之前作业里尝试过web_demo的部署方式了，这次直接简单点用了命令行本地对话。
书生·浦语大模型实战营-学习笔记5
qq_37397652的博客
01-23 560
轻量化、推理引擎、服务。
书生浦语大模型实战营-课程作业（6）
dooooos的修炼之地
02-20 541
这次作业比较简单，用现成的模型和测试集跑一下推理就行了。主要熟悉一下OpenCompass用于评测模型性能。
书生浦语大模型实战营-课程作业（3）
dooooos的修炼之地
02-15 673
不知道为啥我这里是白色的，看视频是黑色的。但猜测应该是gradio框架设置的问题，导致前端显示不太一样，反正不影响模型，问题不大。下载sentence_transformer的代码运行情况。sentence_transformer用于embedding（转向量）本地构建持久化向量数据库。就是把txt和md文件抽取出纯文本，分割成定长（500）后转换成向量，保存到本地，称为知识库构建。把InternLM 接入 LangChain，然后构建检索问答链。最后用Gradio做成一个网页的demo。
书生浦语大模型实战营-课程作业（4）
dooooos的修炼之地
02-18 534
作业教程里的文件路径好像有点小问题，遇到了点坑。
精选资源
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
Java Collection 集合体系核心笔记
最新发布
2401_87932709的博客
12-29 888
一、前言Java 集合框架分为两大平行体系，`Collection` 体系是**单列集合的顶层核心**，专门用于存储单个独立的对象元素，解决了数组长度固定、功能单一的局限性。它定义了所有单列集合的通用行为规范，为后续 `List`、`Set` 等子接口提供了统一的方法模板，是日常开发中处理批量零散数据的基础，所有核心类和接口均位于 `java.util` 包中。 二、Collection 接口的核心定位与特征 1. 核心定位 `java.util.Collection` 是所有单列集合的**顶层父接口**，
PySide6从0开始学习的笔记（十八） MVC（Model-View-Controller）模式的图形渲染体系
xulibo5828的博客
12-26 876
MVC 的核心是数据（Model）- 视图（View）- 控制器（Controller）QGraphicsItem（图元）= Model（模型）：图元是显示的基本单元，它可以是一个圆、一个多边形、一条直线，或者是一个图片，它承载着图形的核心数据与状态（比如坐标、形状、颜色、是否可交互、像素数据等），是 “要渲染的内容本身”，不关心自己如何被显示、在哪显示。QGraphicsView（视图）= View（视图）
快慢双指针算法笔记
enthan809882的博客
12-29 72
快慢双指针算法笔记
基于华为openEuler部署Haptic笔记管理工具
jks212454的博客
12-25 857
基于华为openEuler部署Haptic笔记管理工具
个人用云计算学习笔记 --24 虚拟化、KVM 基础使用与热迁移实验、VMware ESXi笔记
iconball的博客
12-26 997
本文系统介绍了虚拟化技术基础概念、发展历程和主流方案，重点分析了KVM虚拟化的使用方法和热迁移实验。主要内容包括：虚拟化定义及组件（物理机、虚拟机、Hypervisor）；技术演进时间线（1964年IBM大型机到2014年容器技术）；虚拟化类型比较（全/半/硬件辅助）；KVM图形界面和命令行操作指南；以及基于NFS共享存储的热迁移实验环境搭建与实施步骤。文章为读者提供了从虚拟化原理到实践操作的完整知识框架。
2、OpenCV Harris角点检测笔记
sjsn_z的博客
12-26 900
本文介绍了OpenCV中Harris角点检测的原理与实现。Harris算法通过检测窗口移动时像素值的变化模式来识别角点，区分平坦区域、边缘和角点。OpenCV提供cornerHarris()函数实现该功能，关键参数包括检测窗口大小(blockSize)、Sobel卷积核(ksize)和经验参数k(0.02-0.04)。代码实现需将图像转为灰度图，通过阈值筛选显著角点并标记显示。Harris算法计算简单但对尺度变化敏感，是理解更复杂特征检测算法的基础。实际应用中可调整参数优化效果，建议结合图像预处理提高检测质
css 练习笔记1
mashirokayo的博客
12-25 243
设置成preserve-3d的时候，可以把父元素空间想象是一个3D空间，父元素变形效果和子元素变形效果可以存在空间关系。设置成flat的时候，可以看成父元素内部空间是平面的，子元素和父元素的动画效果都在同一个平面。表示 class b只有在b是定义在class a的后代元素上时才生效。设置父元素内部是3D还是2D。或者（scss语法）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值