- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 五一 Llama 3 超级课堂 | 评测 Llama 3 能力（OpenCompass 版） 实践笔记
在/root/opencompass/configs/datasets/mmlu/mmlu_gen_4d595a.py文中修改mmlu_all_sets，先仅测试第1个。llama3环境、软链接Llama-3-8B-Instruct模型。30%A100显存不够🙃。结果出错，--debug。减小batch_size。
2024-05-07 10:54:07
543
原创 五一 Llama 3 超级课堂 | Llama 3 Agent 能力体验+微调（Lagent 版） 实践笔记
用基于 Lagent 的 Web Demo 直观体验一下 Llama3 模型在 ReAct 范式下的智能体能力，让它使用 ArxivSearch 工具来搜索 InternLM2 的技术报告。Llama3-8B-Instruct 模型并没有成功调用工具。原因在于它输出了而非，这也就导致了 ReAct 在解析工具输入参数时发生错误，进而导致调用工具失败。
2024-05-07 09:48:43
532
原创 五一 Llama 3 超级课堂 | LMDeploy 高效部署 Llama3 实践笔记
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。使用 LMDeploy 在 A100（80G）推理 Llama3，每秒请求处理数（RPS）高达 25，是 vLLM 推理效率的 1.8+ 倍。之前都是在本地直接推理大模型，这种方式成为本地部署。但是本文使用的是30%的A100（重在参与😕）
2024-05-06 18:51:52
897
1
原创 五一 Llama 3 超级课堂 | XTuner 微调 Llama3 图片理解多模态 实践笔记
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。
2024-05-06 16:05:51
1320
3
原创 五一 Llama 3 超级课堂 | 第二节 Llama 3 微调个人小助手认知（XTuner版） 实践笔记
合并命令也包含三个路径：原始Llama3权重路径 、转换好的huggingface格式的adapter路径和最后合并完成的路径。转换命令中包含三个路径：config路径、微调的工作路径、转换后的存储路径。使用streamlit与微调后的Llama3对话。将结果权重转成 huggingface 格式。在浏览器中打开，可以正确回答出微调后的结果。
2024-05-06 15:02:41
307
3
原创 五一 Llama 3 超级课堂 | 第一节 本地Web Demo部署 实践笔记
在开发机控制台中点击自定义服务，复制命令粘贴到本机的 powershell 中。
2024-05-06 11:41:28
399
2
原创 ES6函数默认参数与解构赋值默认值结合使用
1.解构赋值默认值let {x, y = 5} = {} // undefined 5上式中变量没有对应的同名属性，导致取不到值，最后等于undefined而y具有指定的默认值5，且根据默认值生效的条件：对象的属性值严格等于undefined所以y等于默认值52.函数默认参数function foo(x = 5, y = 2, z) { console.log(x,y,z)}foo(1) // 1 2 undefined上面代码中，foo调用时只传了一个实参，所以第一
2021-12-03 17:28:49
327
原创 ES6块级作用域内声明函数
ES6引入了块级作用域，明确允许在块级作用域之中声明函数块级作用域之中，函数声明语句的行为类似于let，在块级作用域之外不可引用但实际上为了减轻因此产生的不兼容问题，ES6 在附录 B里面规定，浏览器的实现可以不遵守上面的规定，有自己的行为方式。其规则为：允许在块级作用域内声明函数。 函数声明类似于var，即会提升到全局作用域或函数作用域的头部。 同时，函数声明还会提升到所在的块级作用域的头部。报错信息是个类型错误，f 不是函数类型事实上，根据es6在作用域中声明函数...
2021-11-17 16:59:22
784
原创 关于父组件给子组件传值后再初始化子组件
问题描述：新增和修改共用同一个页面，因此需要再初始化的时候判断是哪种形式，若为修改则需要回显信息。解决思路一：本来想使用watch监听，当父组件A传过来的值发生变化的时候执行子组件B的初始化方法。但是当新增的时候B的初始化方法不会触发，于是给他增加了immediate属性（初次绑定执行）。watch: { index: { handler(val) { if (val >= 0) { this.init(val)
2021-08-24 10:38:39
1760
原创 element-ui实现带单选框的表格
为了方便操作表格中的某一条数据，SZ也是张口就来实现效果：在表格中只能选中某一条数据，进行下一步的操作。首先扒拉扒拉element的官方文档有没有属性能直接实现。嗯，没有。于是开始面向百度编程，大概是这两种方法一.结合Radio组件来实现个人觉得好多写的都比较麻烦。这位老哥写的较为简易，亲测可行https://blog.youkuaiyun.com/qq_38468358/article/details/90378470二.使用table组件自身的row-click方法和selec...
2021-08-23 18:32:02
3128
1
空空如也
js对象属性有值，单独拿出来却是空
2021-08-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人