yizhiboshanshan的博客

在做完RAG的demo后，想再深入学习一下RAG对于大模型输出效果的提升，想做一个动漫知识大模型，想着自己实践一下。

最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署。硅基流动提供了免费的 InternLM2.5-7B-Chat 服务，MindSearch 的部署与使用进一步降低了部署门槛。来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。来注册硅基流动的账号，在完成注册后，打开。

这里参考一位用户分享的b站会员有关acg内容相关的答题题库，利用茴香豆搭建一个动漫知识的问答助手，在 huixiangdou 文件加下创建 repodir 文件夹，用来储存知识库原始文档。知识库创建成功后会有一系列小测试，检验问题拒答和响应效果，如图所示，关于“mmpose 安装”、“请问ncnn全称是什么”等问题，不在知识库范围内，测试结果显示拒答，说明我们的知识助手工作正常。可以看到给出的回答相对来说还是比较准确，且有出处的。命令进行向量知识库的重新创建和应答阈值的更新。

安装xtuner v0.1.23安装LMDeploy验证安装情况。

实现一个调用 MagicMaker API 以完成文生图的功能。'dongman', # 动漫'guofeng', # 国风'xieshi', # 写实'youhua', # 油画'manghe', # 盲盒else:else:@tool_apiArgs:Returns:"""try:}),最后，修改# 添加# 在第27行添加# 在68行修改模型名称。

由于之后想自己微调一个角色扮演的小助手，于是先试着微调一下公开数据集，练练手，后续再自己准备数据集。

启动后就可以与InternLM2-Chat-1.8B大模型对话了，输入问题，然后需要按两下回车键（这里得注意，之前没注意还以为卡住了这么慢），速度确实比之前使用Transformer库来运行模型的速度快。Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。InternVL2-26B需要约70+GB显存，但是为了能够在50%A100上运行，需要先进行量化操作，这也是量化本身的意义所在——即降低模型部署成本。

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。

结果如下，加入xtuner项目的说明文档后，大模型可以回答出“xtuner是什么?--local-dir后接本地下载的地址，运行该代码，完成源词向量模型。

任务：使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知。

近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。的提示词专家助手，国内有KIMI与LangGPT合作的提示词专家网页服务，更方便一些，模型返回结果是13.8大于13.11，是对的，可能在这方面做了优化。利用LangGPT生成数学专家提示词，github上是。：利用LangGPT优化提示词，使LLM输出正确结果。还是不行，没有明显改进，留待后续继续优化。

不过这里我遇到了问题，vscode一直远程连接不上，后续我查了一下好像是由于最新版本vscode对于ubuntu不太支持...（开发机上是ubuntu20.04），后续懒得debug了，还是继续用Mobaxterm吧。首先是学习一些基础的linux基础知识，这里利用的是InternStudio开发机，原来远程连接我使用Mobaxterm多一些，不过感觉vscode确实要更方便一些，这次就刚好学一学怎么用。报名了书生浦语大模型实战营第三期，想学一学大模型相关的一些实践知识。

总结：书生·浦语大模型构建了全链路开源体系，并深入介绍了其发展历程与独特特点。大模型作为通用人工智能的关键路径，已展现出解决多元化任务与模态的强大能力。具体而言，书生葡语大模型凭借其超长上下文处理能力，实现了综合性能的全面飞跃，不仅支持结构化创作，还确保了数据分析的可靠性。此外，该模型还强化了内生计算能力并集成了先进的代码解释器，在多个能力维度上均取得了优异的评测成绩。

下面是实现的一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。这里原本的示例代码中，最后的result是没有赋值的，在函数中加一行return sum即可。使用本地vscode连接远程开发机，进行debug。

InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事。实战营ID2570。来启动我们的 Demo。