- 博客(13)
- 收藏
- 关注
RSS订阅原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
同时启用量化后的模型、设定kv cache占用和kv cache int4量化。启动 API 服务器。
2024-08-22 09:47:31
512
原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
通过源码安装 Lagent Web Demo 使用 使用 LMDeploy 部署 InternLM2.5-7B-Chat 启动 Lagent 的 Web Demo 选择插件 ，并输入指令“帮我搜索一下 MindSearch 论文” 实现一个调用 MagicMaker API 以完成文生图的功能 以下代码写入 修改 同时启用两个工具，然后输入“请帮我生成一幅山水画” 图片如下 更改 为 ，输出了油画风格的山水画 再试一下“帮我搜索一下 MindSearch 论文”
2024-08-20 11:01:40
506
原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
（PS 有点小问题，“上海AI实验室书生·浦语”变成了“上海AI个人小助手”，可能是有点欠拟合？将 QLoRA 微调得到的 Adapter 的参数和原模型的参数进行合并。转换为通用的 HuggingFace 格式文件。指令跟随微调后，模型能够实现预期的输出。从 GitHub 上下载源码。进入源码目录，执行安装。成功安装 XTuner。使用以下脚本生成数据。
2024-08-13 23:13:36
280
原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
使用了chain-of-thought（步骤拆解）和few shot（少样本，给出示例）的技巧。InternLM2.5-chat-7b无法正确比较9.11和9.8的大小。基于LMDeploy部署InternLM2.5-chat-7B。模型能够正确比较浮点数的大小。
2024-08-12 21:11:52
231
原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
感觉生成的内容还不错，基本符合新闻稿的行文风格，就是写完一句话就换行有点奇怪，不过这只是个1.8B的模型，生成内容的质量已经超出我的预期了。在开发机中创建环境，安装相关依赖。完成环境的创建和依赖库的安装。这里我测试的prompt是。
2024-08-10 13:33:32
297
原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记。实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。
2024-08-07 21:46:51
342
原创 书生大模型实战营（第三期闯关大挑战） 学习笔记
成功在本地127.0.0.1:7860访问部署在开发机上的web服务。在开发机的terminal运行hello_world.py。创建开发机并在VS Code中通过SSH连接开发机。
2024-08-01 21:47:28
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人