weixin_45670481的博客

理解多模态大模型的常见设计模式，可以大概讲出多模态大模型的工作原理。多模态大模型通常指的是可以处理多种形式的数据（如文本、图像、音频等），并在这些不同模态之间进行交互的模型。这类模型的设计旨在充分利用不同类型数据的互补性，以提升整体系统的性能和效果。常见设计模式独立编码器与共享解码器：此模式中，每种模态的数据通过独立的编码器进行处理，但共享一个解码器。这意味着，不同模态的数据被单独编码，但解码时共享一个模型。这种设计模式能够较好地处理不同模态数据之间的差异性。

使用资源：50%显存的 A100。

贴入代码，然后启动cmmlu评测集进行评测，结果再第二张图，可以看到对于数学问题支持不是很好，还有一些伦理问题，不过这些是通病，不能怪internlm。本次调用用了大概14wtokens，不过目前不清楚opencompass的测试方案是什么。这里采用本地部署模型的方式进行测试，分数如下，看上去和api简单测试的结果 相差并不多。有趣的是，internlm2的实力明显不如internlm2.5（废话）使用lmdeploy进行部署。

记录复现过程并截图。

解释：MindSearch可以标记出智能体思考这个问题的路径，并给用户提供整个思考环节的过程。任务：给他一个网易云歌单，让他进行信息整合，效果可以的，除了一个识别错了，其他都没问题。最近大火的中国 3A 大作《黑神话·悟空》里有什么让你难忘的精彩故事情节？我问了武侠小说+克苏鲁元素的写作建议，效果还可以。

核心卖点大海捞针实验的效果复杂问题的解决方案。

基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。

将不使用系统提示的书生浦语大模型作为 baseline 对比，提交的系统提示词要指导LLM表现出比baseline更高的性能，提供对比截图并加以分析说明即可。感觉区别不大，除了故事的背景交代的不错并且给故事留了最后的彩蛋，好像难分伯仲，主要原因是大模型本身是语言模型，对于故事生成支持还是不错的。基于LangGPT格式编写提示词，使用。

闯关任务需要在关键步骤当中截图！

请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。TIPS：记得先去掉标点符号,然后把每个单词转换成小写。不需要考虑特别多的标点符号，只需要考虑实例输入中存在的就可以。这题莫名让我想到mapreduce 哈哈哈！python确实比Java写的爽多了，就是不是很规范。

test.sh。