- 博客(9)
- 收藏
- 关注
RSS订阅原创 书生大模型实战营L1G6OpenCompass 评测书生大模型实践
通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。在 OpenCompass 中，模型和数据集的配置文件都存放在 configs 文件夹下。我们可以通过运行 list_configs 命令列出所有跟 InternLM 及 C-Eval 相关的配置。然后再开启取消debug。
2024-11-14 02:24:04
673
原创 书生大模型实战营L1G5XTuner 微调实践微调
微调完成后，我们可以再次运行 xtuner_streamlit_demo.py 脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。本模型位于/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat。然后修改如下： 打开 change_script.py ，修改 --new_text 中 default=“机智流” 为名字。运行后，确保端口映射正常，如果映射已断开则需要重新做一次端口映射。
2024-11-14 00:57:44
712
原创 书生大模型实战营L1G4InternLM + LlamaIndex RAG 实践
之后使用时服务器即会自动使用已有资源，无需再次下载。打开test_internlm.py 贴入以下代码。打开llamaindex_RAG.py贴入以下代码。回答的效果并不好，并不是我们想要的xtuner。借助RAG技术后，就能获得我们想要的答案了。运行以下指令，新建一个python文件。运行以下指令，新建一个python文件。安装 Llamaindex和相关的包。运行以下命令，获取知识库。python 依赖包。
2024-11-13 17:38:28
249
原创 书生大模型实战营L1G2玩转书生「多模态对话」与「AI搜索」产品
开源的 AI 搜索引擎InternLM 组织今年开源的 AI 搜索引擎 (框架)，基于多智能体技术将你提出的问题进行分析、拆解、网页搜索，最终给出有参考依据的高可信度回答。目前可直接在书生·浦语产品内体验以 InternLM2.5-20B 为 Agent 的 MindSearch 官方实现。回答。
2024-11-13 00:02:28
334
原创 书生大模型实战营L1G1书生大模型全链路开源体系
经历了这一年以来的努力，书生已经从大模型的全链路进行了打通。从数据的收集整理，数据标注到模型训练模型，微调模型评测，再到基于模型的agent rag搜索引擎，最后以及AI应用的部署都进行了方案实现以及开源。
2024-11-12 23:45:34
389
原创 书生大模型实战营 玩转HF 关卡
下载模型的配置文件为例，先新建一个hf_download_josn.py 文件在这个文件中，粘贴以下代码'/'1'filename'运行该文件（注意文件目录请在该文件所在目录下运行该文件）可以看到，已经从Hugging Face上下载了相应配置文件。
2024-11-05 20:28:28
268
原创 书生大模型实战营 Python 基础知识
问题：internlm2.5的输出格式不对，无法转换成json。打开你的Python文件，点击左侧活动栏的“运行和调试”图标。创建一个新的api token，复制保存到本地。解决：清洗字符串格式，调整成正确的json格式。前往书生浦语,登陆后点击API tokens。对 ~/.bashrc 文件中添加以下命令。创建文件internlm_test.py。选择python file。
2024-11-05 15:05:28
744
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人