- 博客(12)
- 收藏
- 关注
RSS订阅原创 L2G3000 LMDeploy 量化部署进阶实践
lmdeploy lite auto_awq: lite这是LMDeploy的命令，用于启动量化过程，而auto_awq代表自动权重量化（auto-weight-quantization）。–work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit: 这是工作目录的路径，用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集，这里使用的是’ptb’（Penn Treebank，一个常用的语言模型数据集）。
2024-11-19 22:18:32
1718
原创 L1G6000 OpenCompass 评测
通过运行 list_configs 命令列出所有跟 InternLM 及 C-Eval 相关的配置。修改demo_cmmlu_chat_gen.py，配置数据集。修改puyu_api.py,配置模型。
2024-11-16 22:29:32
185
原创 L1G4000 InternLM + LlamaIndex RAG实践
直接提问：回答结果：RAG:创建space internLMRAG 以streamlit方式(省略)修改app.py上传data目录此处需要修改embedding模型及data路径上传requirement.txt运行结果
2024-11-14 22:44:20
387
原创 L1G3000 玩转书生「多模态对话」与「AI搜索」产品
原始问题：最近大火的中国 3A 大作《黑神话·悟空》里有什么让你难忘的精彩故事情节？根据原始问题进行拆分。
2024-11-11 20:41:08
252
原创 L1G3000 - 浦语提示提工程实践
背景问题：近期相关研究指出，在处理特定文本分析任务时，语言模型的表现有时会遇到挑战，例如在分析单词内部的具体字母数量时可能会出现错误。任务要求：利用对提示词的精确设计，引导语言模型正确回答出“strawberry”中有几个字母“r”。
2024-11-10 19:36:46
327
原创 书生大模型全链路开源体系
可以通过用户需求进行问题分析，思维路径规划，同时可以通过搜索引擎进行海量搜索结果，筛选精读，进行内容整合，返回问题回答。根据提出的问题，进行解决思路的规划，显示每一步思路正在进行的详细信息。效率测试：考察在大规模token数据的处理过程中，算法和模型的效率，尤其是检索时间、内存消耗等。随着对数据的过滤、智能评估以及对数据生成标注做对齐做预训练数据，从而获得第二个版本的模型。性能测试：测试在处理百万级token的数据时，系统的检索、处理和响应能力。最新的浦语2.5的大模型较前面的版本有了更高更优的能力。
2024-11-06 22:08:44
1395
原创 L0G2000 Python基础知识
闯关任务 Leetcode 383(笔记中提交代码与leetcode提交通过截图)闯关任务 Vscode连接InternStudio debug笔记。可选任务 pip安装到指定目录。
2024-10-31 21:40:13
191
原创 书生第四期L0G1000 Linux 基础知识
可选任务 2 使用 VSCODE 远程连接开发机并创建一个conda环境。可选任务 1 将Linux基础命令在开发机上完成一遍。在root目录创建hello_world.py文件。powershell进入开发机。
2024-10-31 20:44:03
191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人