Finnwestbrook的博客

原创 L3-InternLM 1.8B 模型 Android 端侧部署实践

同时这一步可能需要代理，如果运行超时，可以在报错信息中找到下载的文件，对应文件将"https://huggingface.co/" 全部改为 "https://huggingface.co/"安装包，下载到手机上运行，运行App需要能访问huggingface下载模型(参考文档中的bundle方法需要ADB刷入模型数据)如果不想上传到huggingface可以跳过这一步，直接在接下来的配置中使用如下链接的模型（和文档中的转换方法一样）处理的过程中会报错，主要原因是缺少以下的包，安装一下。

原创 L2-MindSearch部署

进入 Settings，配置硅基流动的 API Key。选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入 API Key。最后将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。最后，我们先新建一个目录，准备提交到 HuggingFace Space 的全部文件。，并点击 Create new Space，如下图所示。选择以下配置，点击创建。

原创 L2-茴香豆：企业级知识库问答工具

知识库创建成功后会有一系列小测试，检验问题拒答和响应效果，如图所示，关于“mmpose 安装”的问题，测试结果可以很好的反馈相应答案和对应的参考文件，但关于“std：：vector 使用”的问题，因为属于 C++ 范畴，不再在知识库范围内，测试结果显示拒答，说明我们的知识助手工作正常。茴香豆的架构中，除了利用 LLM 的功能判断问题相关性，也可以通过手动添加正例（希望模型回答的问题）和反例（希望模型拒答的问题）来调优知识助手的应答效果。我们知道，网络搜索的范围主要有以下网站，没有用来查询天气的网站。

原创 L2-InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。与 qlora 微调的一个很大区别在于内存占用，采用了量化策略的 qlora内存占用更低（memory：22947（qlora）-25286（lora））；第二个区别是 lora 微调的情况下，loss会更低一点。两个文件的主要区别如下，qlora 使用了量化策略。查看回复，回答并不满足我们的预期，需要微调。

原创 L2-LMDeploy 量化部署进阶实践

kv cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。相比使用BF16精度的kv cache，int4的Cache可以在相同。，即 kv cache 占用剩余显存的80%；

原创 L2-Lagent 自定义你的 Agent 智能体

Lagent 中关于工具部分的介绍文档位于继承BaseAction类实现简单工具的run方法；或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰；工具包内每个子工具的功能都需要被tool_api装饰下面我们将实现一个调用 MagicMaker API 以完成文生图的功能'dongman', # 动漫'guofeng', # 国风'xieshi', # 写实'youhua', # 油画'manghe', # 盲盒else:else:@tool_api。

原创 L2-探索 InternLM 模型能力边界

每只猫都是独特的，它们的价值并不取决于它们的外观，而是取决于它们的个性、行为和与我们共度的时光。九月可能是他个人经历中的一个转折点，或者是一个象征性的时间点，代表着变化、结束和新的开始。在现实生活中，猫的好坏并不是由它们的颜色决定的，而是由它们的行为和性格决定的。使用ASCII字符来绘制苹果公司的logo是可能的，但请注意，这将是一个非常简化的版本，不能捕捉到原始logo的所有细节。这个示例使用了简单的字符来形成一个苹果的轮廓，但它没有包含苹果logo的叶子或苹果的上半部分的咬痕。

原创 L1-书生大模型全链路开源体系

部署LMDeploy。

原创 L1-OpenCompass 评测 InternLM-1.8B 实践

使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能。我们选择mmlu_gen进行评测，通过以下命令评测 InternLM2-Chat-1.8B 模型的性能。主观评测旨在评估模型在符合人类偏好的能力上的表现。为了探究模型的主观能力，我们采用了JudgeLLM作为人类评估者的替代品（正常运行显示——“Starting inference process”Compare模式：将模型的回答进行两两比较，以计算对战其胜率。查看支持的模型和数据集。

原创 L1-XTuner 微调个人小助手认知任务

使用 internlm2_chat_1_8b_qlora_alpaca_e3 对 internlm2_chat_1_8b 进行指令微调。为了让模型按照我们预期的结果进行回复，需要通过在微调数据集中大量加入这样的数据。将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式。此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”，即Adapter。1. 在PART1中修改模型路径，数据集路径和问题设置。训练后的结果，不过英文结果变成BERT了是为啥。

原创 L1-LlamaIndex RAG 实践

基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库。在 llamaindex_RAG.py 中写入。

原创 L1-浦语提示词工程实践

模型路径为：/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b。结果如下，可以看到模型根据我们设定的规则对问题成功进行了判断。任务要求：利用LangGPT优化提示词，使LLM输出正确结果。在messages中添加system_prompt。编写langptPrompt.py。OpenCompass评测MMLU。使用LangGPT生成提示词。添加system_prompt。

原创 L1-8G 显存玩转书生大模型 Demo

运行时界面上会显示运行的时间，处理这一张图片并且生成描述的时间大概是8.4s，相比于用hf的transformer部署（867s）确实快了很多。输入示例内容，生成文字。本小节使用的图片来自。（不知道为啥是英文）

原创 L0-Python task

*1.Python实现wordcount****2.Debug过程**

原创 L0-Linux-关卡材料提交

原创 ubuntu 切换默认内核

查看服务器内核启动顺序，里面有编译好的内核。

原创 关于在R语言中应用Synth包的问题

3.安装方法：install.packages("~/path/Synth_1.1-5.tar.gz", repos = NULL, type = "source")尝试从archive中下载后直接安装却发现版本不兼容，经过无数次试错之后(甚至手写算法......)，总结出了这个包的使用规律。4.安装过程中需要额外安装两个依赖，kernlab和optimx，直接install.packages()即可。1. Synth包需要下载Synth 1.1-5版本。2.R语言的版本需要 R 4.2.1。

原创 使用pytorch遇到的问题整理

AssertionError:Torchnot compiled with CUDA enabled此错误是由于下载的torch没有cuda,在运行时就会出错，经过查阅，在程序最开始的地方加上：device = torch.device("cuda" if torch.cuda.is_available() else "cpu")代码其余地方出现.cuda()的地方改成.to(device)就可以在无gpu的环境中运行了。ValueError: Object arrays ca..