ice_521的博客

本文将分为以下几个部分来介绍，如何使用 LlamaIndex 来部署 InternLM2 1.8B（以 InternStudio 的环境为例）检索增强生成（Retrieval Augmented Generation，RAG）能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。（微调的一种?

如果失败了的话会报错:openai.APIConnectionError: Connection error.系统提示词加了吹牛逼大师的设定后结果有点奇怪，可能是我哪里弄的出了点毛病。里面的streamlit web部署那里的命令，然后把demo.py改改就行。

用到的模型和环境(/root/share/pre_envs/icamp3_demo)都在开发机的share目录下。

通过之前的L0G1000配置vscode远程连接后，我们可以进行debug练习。当有运行键时，说明远程虚拟机端能够正常使用vscode的Python插件。

在InternStudio中新建个人开发机，10%的A100,版本选cuda12.2,名字随便起一个，时长默认，然后大概等个三五分钟虚拟机就可以正常使用。选择ssh连接，然后复制登录命令到powershell或linux终端，然后再复制对应密码就可以成功登录。然后在个人本地pc中powershell中执行相关端口映射命令或在vscode中配置端口。为了后续便利，可以通过配置ssh key来免除每次登录时输入密码的操作。在自己的本地pc输入下列命令生成密钥，一路enter即可。

从功能类别来讲，大致有baseline,chat,Math,XComposer,WQX这几类。baseline不用说，基座模型，其他各类模型的基础。chat类型主要是对话，无法对图片和视频做处理分析。XComposer主要是多模态对话，可以文生文，图生文，视频生文，还可以生成代码等多种任务。Math主要是针对数学类问题的特训。版本的话有之前的InternLM2版本，和最近的InternLM2.5版本。第三期的训练营用的是2版本，这期可能会用2.5版本。

本节主要是利用codespace作为云ide对huggface上的代码进行克隆更新上传，首先介绍了codespace的使用并下载了相关模型进行运行测试，然后再huggface上面创建新的space并进行更新，文末展示了space的最终结果。codespace下载模型耗费的是云的流量，所以本地流量耗费的其实不多，但是codespace云空间比较小，所以只能下载不大的模型。