- 博客(10)
- 收藏
- 关注
RSS订阅原创 第四期书生大模型-基础岛-6.OpenCompass 评测
运行评测代码时会提示没有rouge包，但pip install rouge又会显示rouge包已安装，原因是rouge的rouge-1.0.1.dist-info文件夹安装(pip show rouge没有报异常的原因)，但rouge文件夹并不存在，通过pip uninstall rouge后，再执行pip install rouge解决该问题。2.配置数据集: 在终端中运行。1.配置模型: 在终端中运行。
2024-11-21 13:34:15
298
1
原创 第四期书生大模型-基础岛-5.XTuner 微调实践微调
2.输入命令xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner启动微调。1.按照官方教程进行环境配置与数据准备，复制模型并修改Config。4.模型合并、模型WebUI 对话。
2024-11-20 16:12:56
261
原创 第四期书生大模型-基础岛-3.Prompt工程
造成的，token 指的未必是词，也可以是标点符号、数字或者某个单词的一部分。3.因此关键在于让大模型遍历单词进行计数而不是直接统计单词个数，通过编写结构化提示词让大模型统计单词个数与直接提问大模型均会遇到token化的问题，两者并无差异。基础任务：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。可以看到书生浦语统计字母“r”、“a”和“b”都出现了错误，同时计算验证环节也出现了自相矛盾的错去，属于事实性幻觉问题，这里引用知乎作者。对此的分析：“原因基本都是。
2024-11-19 16:14:36
621
原创 第四期书生大模型-基础岛-4.LlamaIndex+InternLM RAG 实践
基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答，借助 LlamaIndex 后 浦语 API 具备回答 A 的能力。将关于2024年美国大选的新闻编辑为txt文件，保存到llamindex_demo/data/election文件夹，在RAG代码中将路径改为自己保存的参考文档路径，浦语得到了正确答案。：将 Streamlit+LlamaIndex+浦语API的 Space 部署到 Hugging Face。
2024-11-18 23:32:05
574
原创 第四期书生大模型-基础岛-1.书生大模型全链路开源体系
这是一个多功能工具API库，用于扩展和增强基于LLM的代理，并且与Lagent、Langchain等兼容。：这是一个基于InternLM的视觉语言大型模型（VLLM），专注于高级的文本图像理解和合成。：这是一个用于大型模型评估的平台，提供公平、开放和可重现的基准测试。：这是一个专门用于双语数学推理的大型语言模型，被认为是最先进的。：这是一个工具包，用于高效微调LLM，支持多种模型和微调算法。：这是一个轻量级框架，用于大规模模型的预训练和微调。：这是一个工具包，用于LLM的压缩、部署和提供服务。
2024-11-12 16:27:25
165
原创 第四期书生大模型-基础岛-2.玩转书生「多模态对话」与「AI搜索」产品
1.使用 MindSearch 进行提问。3.使用InternLV体验多模态。MindSearch 话题挑战。2.使用InternLM对话。
2024-11-12 16:16:30
274
原创 第四期书生大模型-入门岛-4.玩转HF/魔搭/魔乐社区
一：使用Hugging Face平台、魔搭社区平台（可选）和魔乐社区平台（可选）下载文档中提到的模型（至少需要下载config.json文件、model.safetensors.index.json文件），请在必要的步骤以及结果当中截图。二：将我们下载好的config.json文件（也自行添加其他模型相关文件）上传到对应HF平台和魔搭社区平台，并截图。将hf_space的仓库克隆到codespace，进行添加修改，使用git上传。登陆后使用hf的cli在自己的hf_space创建一个仓库。
2024-11-12 00:08:03
847
原创 第四期书生大模型-入门岛-3.git基础知识
这里需要输入账户和密码，可能会遇到登录不上的情况，需要在GitHub账户的设置中选择开发者设置生成token(classic)将代码从文件夹拖入仓库点击commit change即可。选择repo选项，登录时选择成的token代替密码即可。点击右上方+号新建一个仓库，注意要添加readme文件。实践任务-创建并提交一个项目。注意推送到class分支。
2024-11-11 22:11:48
255
原创 第四期书生大模型-入门岛-2.Python基础知识
res结果带有"json"和"```"标记，需要使用replace把这部分去除。任务2：Vscode连接InternStudio debug笔记。任务一：Leetcode 383。可选任务：pip安装到指定目录。
2024-11-11 16:11:21
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人