- 博客(36)
- 收藏
- 关注
RSS订阅原创 书生大模型实战营基础（6）——OpenCompass 评测 InternLM-1.8B 实践
在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在C-Eval基准任务上的评估。更多评测技巧请查看。
2024-08-31 10:24:53
880
原创 书生大模型实战营基础（5）——XTuner 微调个人小助手认知任务
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型，我们就可以匹配搜索。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。
2024-08-31 01:28:56
892
原创 书生大模型实战营基础（4）——Llamaindex RAG实践
正式介绍（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考技术报告。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。
2024-08-30 20:52:27
921
原创 书生大模型实战营基础（3）——LangGPT结构化提示词编写实践
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。
2024-08-30 09:54:09
1647
原创 书生大模型实战营基础（2）——8G 显存玩转书生大模型 Demo
选择 10% 的开发机，镜像选择为 Cuda-12.2。在输入开发机名称后，点击创建开发机。创建开发机后，进入开发机，在terminal创建虚拟环境。
2024-08-29 19:30:43
270
原创 书生大模型实战营基础（1）——书生大模型全链路开源开放体系笔记
书生·浦语的发展历程：大海捞针实验简述：给模型提供一段非常长的背景知识，模型是否能完美定位这背景知识中的任何位置、任何信息。20B的模型有着涌现（生成）现象，102B未开源数据方面预训练。
2024-08-29 16:14:10
332
原创 书生大模型实战营（3）——Git 课程任务
GitHub是全球最大的代码托管平台之一，拥有丰富的开源项目和活跃的开发者社区。它提供了版本控制、项目管理、协作开发等功能，并支持多种编程语言。GitLab一个自托管或基于云的平台，提供了完整的 DevOps 工具链，包括代码托管、持续集成/持续部署（CI/CD）、问题跟踪等。Gitee国内的代码托管平台，提供了代码托管、项目管理、协作开发等功能，对国内开发者来说，访问速度可能更快，也更符合国内的使用习惯。
2024-08-29 14:35:03
532
原创 书生大模型实战营（2）——函数实现+Vscode连接InternStudio debug笔记
请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。
2024-08-28 21:12:27
1254
4
原创 书生大模型实战营（1）——InterStudio基础知识+Vscode SSH连接远程服务器+Linux基础指令
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。更多了解可通过官网文档了解。SSH全称Secure Shell，中文翻译为安全外壳，它是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。有两种方式进行远程服务器连接，第一种是每次登录都是用密码。
2024-08-28 15:27:51
1690
原创 ModuleNotFoundError: No module named ‘gdal‘（已安装出错）
因为gdal库归于了geopandas。安装好后导入模块报错。
2024-08-16 10:03:12
437
原创 从零入门大模型微调-Task1
基于讯飞大模型定制训练平台和spark-13b微调模型，生成高考语文现代文阅读和英语阅读问题QA对，通过。是 Datawhale 2024 年 AI 夏令营第四期的学习活动（Baseline，了解大模型微调技术，同时代练比赛。），基于讯飞开放平台。
2024-08-11 22:40:00
128
原创 Tensorboard 基础与使用
Tensorboard是TensorFlow中提供的可视化工具，它能可视化数据曲线、模型拓扑图、图像、统计分布曲线等。Pytorch现在也可以使用。获得event file文件,terminal运行。
2024-08-07 13:58:45
209
原创 关于解决Tensorboard出现No dashboards are active for the current data set.问题（不是改中文换浏览器）
又回到的terminal里，这里的文件目录要连起来，比如日志文件目录绝对路径是：D:\Users\Lenovo\Desktop\Paper_cv\pytorch\PyTorch-Tutorial-2nd\code\chapter-6\logs。PID被12904程序占用，所以我们去任务管理器-->详细情况那，从PID找到12904，然后结束任务。--host=127.0.0.1 --port=6006（6006可以换其他空闲端口，比如8008等）2）.查看所有被打开的端口列表：netstat -ano。
2024-08-07 13:22:56
398
原创 github仓库复制报错： Failed to connect to github.com port 443 after 21064 ms: Couldn‘t connect to server
这个错误通常是由于网络不稳定或数据传输中断导致的。
2024-08-06 10:09:45
333
原创 DLL load failed while importing _imaging: 找不到指定的模块。
安装的PyTorch1.9.1，可能因为老版本的导致旧的。
2024-08-05 15:22:16
309
原创 初见PyTorch
FAIR（ Facebook AI Research，Facebook人工智能研究院 ）于2017年初发布PyTorch，PyTorch 的命名由 Py（代表 Python）和 Torch 组成。Py就是python语言，Torch是一款早期的深度学习框架，所以PyTorch是在Torch基础上用python语言重新打造的一款深度学习框架。PyTorch。
2024-08-04 15:08:34
210
1
原创 Failed to connect to github.com port 443 after 21117 ms: Couldn‘t connect to server
结果显示最后两个无效端口，需要进行删除，在clone GitHub的代码时遇到。
2024-05-22 09:56:36
603
原创 （语义分割）TypeError: unsupported operand type(s) for /: ‘NoneType‘ and ‘float‘
在语义分割模型训练时，遇到出现TypeError: unsupported operand type(s) for /: ‘NoneType‘ and ‘float‘一旦train就遇到上面的情况，一个epoch都运行不了。就算debug，也只能运行几个epoch就报错。从提示的信息来看，是读取文件失败，尝试了多次读取。但是查询依然报错，所以尝试用PIL来读取图像文件。
2024-03-26 09:33:44
246
原创 论文首页作者简介信息插入脚注（不显示横线）
我们会发现有1标号，删掉1脚注也删除了。或者把字体设置为白色。最好还是以下这个方法。1、将光标放在插入页随意位置，添加作者简介信息，点击插入脚注。3、有时候因为未知原因脚注不能显示横线。就可以直接跳转进行编辑。
2023-12-12 09:06:08
7697
原创 读取tif文件打印格式不对torch.Size([1, 256, 3, 256])，转为RGB和灰度模式
读取tif文件打印格式不对torch.Size([1, 256, 3, 256])，注：原始文件是256×256。
2023-10-21 16:38:19
221
原创 tensorboard使用（FCN为例记录Train Acc和Train Mean IU）
这将启动TensorBoard服务器，并监听默认端口（通常是6006）。这个类可以将训练过程中的各种信息记录到TensorBoard日志文件中，然后你可以使用TensorBoard工具来可视化这些信息。要将训练过程中的数据保存到TensorBoard，你可以使用PyTorch的。打开终端，导航到存储TensorBoard日志的目录。在训练开始前创建一个。
2023-08-15 09:28:20
182
1
原创 projects\opencv-python\opencv\modules\highgui\src\window.cpp:376
解决办法：文件名不能有中文'
2023-08-11 09:21:52
173
1
原创 AttributeError: ‘NoneType‘ object has no attribute ‘shape‘
报错AttributeError: ‘NoneType‘ object has no attribute ‘shape‘，确保图像文件的路径正确：请确保 'split.jpg' 图像文件位于当前运行代码的工作目录下，或者提供图像文件的绝对路径。使用绝对路径：如果图像文件不在当前工作目录下，可以尝试使用图像文件的绝对路径来读取图像。检查图像文件是否存在：确保 'split.jpg' 图像文件实际存在，并且拼写正确。检查文件权限：确保你有读取该图像文件的权限。运行OpenCV时，
2023-07-25 13:56:01
2013
原创 完美解决 Could not find a version that satisfies the requirement PaddleHub (from versions: )
开了梯子，导致安paddlehub一直报错，换了镜像源也不行，后来把梯子退了就可以了。初学者，在最开始安装paddlehub时。
2023-04-12 14:56:49
962
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人