- 博客(9)
- 收藏
- 关注
RSS订阅原创 【无标题】
使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。使用 LMDeploy 运行视觉多模态大模型 llava demo。下载internlm-chat-1.8b模型。配置lmdeploy运行环境，配置成功。然后用lmdeploy命令行对话。以命令行方式与模型对话。
2024-08-04 14:35:14
179
原创 XTuner 微调个人小助手认知
训练了380iter，合并文件，重新部署web chat ui，回答就变了。可以看到，微调后回答明显变了，但是一直重复是什么鬼，还在研究中。
2024-08-02 22:39:22
145
原创 InternLM + LlamaIndex RAG 实践
首先我们问InternLM 1.8b模型，Sora是什么，由于该模型出现的比SORA早，故应该无法回答我们想要的结果。然后我们构建知识文档，从网上获取的SORA介绍，放在my/sora.md里面。然后运行，模型就能输出正确的结果了。然后，修改RAG脚本。
2024-08-02 20:48:28
269
原创 L1-8G 显存玩转书生大模型 Demo
L1-8G 显存玩转书生大模型 Demo闯关8G cli_demo部署Web 端口部署 bajie 项目
2024-07-29 22:49:52
290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人