- 博客(9)
- 收藏
- 关注
RSS订阅原创 InternVL 多模态模型部署微调实践
在 InternVL2-Tutorial 文件夹下的 demo.py 文件中，MODEL_PATH 表示传入的模型路径，这里默认为 InternVL2-2B，如果你使用的是 InternStudio 开发机进行实验则该路径无需修改，但如果你使用的是 VSCode 远程连接开发机则需要把这个路径修改成自己的本地路径。Type D架构：Type D架构将多模态信息的融合放在模型的输入层，通过一个预融合模块将不同模态的数据预处理并整合成一个统一的表示。然而，这种设计在模型训练和优化方面存在一定的挑战。
2024-12-27 21:36:02
906
原创 L2G3000: LMDeploy 量化部署进阶实践
使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4.1 API开发，请注意2.2.3节与4.1节应使用作业版本命令。关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。我们通过2.1 LMDeploy API部署InternLM2.5的实践为例，输入以下指令，启动API服务器。
2024-12-27 16:09:15
506
原创 【无标题】
给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考InternLM2技术报告。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。下图中问答均未给出准确的答案。
2024-11-18 20:28:03
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人