- 博客(12)
- 收藏
- 关注
RSS订阅原创 书生第四期速通-L1Xtuner
对LLM（大语言模型）进行的微调（fine-tuning）操作，是指在已有的预训练语言模型（如 GPT、BERT 等）的基础上，针对特定的任务或领域，通过额外训练调整模型的参数，从而使其在特定场景中表现更优。微调是深度学习中常见的一种迁移学习方法，用于将大型模型的通用能力转化为适应具体需求的能力。微调过程实际上并不是字面意义上的对参数或者超参数进行微调，而是对模型整体的参数在原有预训练模型的基础上针对特定领域训练集的训练。
2024-11-17 19:18:06
993
原创 书生第四期速通 - L1 全链路大模型
一般来讲，将模型依照参数数量分划为四种不同的规模。感觉这一节都是讲述的一些历史，以及介绍优势。“大海捞针”：对长文本中信息检索是否准确。更长上下文： 10m级别的有效上下文记忆。
2024-11-17 14:01:33
358
原创 书生第四期速通-L1RAG
先安装 Pytorch 再安装 Llamaindex”存在的问题是：匹配CUDA 11.7的torch安装在前，但是其后安装 LLamaIndex 相关的指令会稳定触发torch的升级到最新版本，而新版本的PyTorch (2.5.1) 默认使用CUDA 12.4，导致 Pytorch 版本与 CUDA版本不匹配。在书生提供的信息中，使用了LlamaIndex的框架，是一个上下文增强的LLM框架，通过将其与特定上下文数据集集成增强LLM的能力。，另外这里默认使用的silicon，
2024-11-03 15:25:49
949
原创 书生训练第四期速通-L1Prompt
然后文档引出了LangGPT这一提示词工程，LangGPT又名Language For GPT， 结构化提示词。下面均采用LangGPT的格式。这里忽略了对比赛的介绍，仅仅做出了格式处理，可见回答准确明了，如有更多需求，完全可以简单修改提示词以达到更好的效果。个人认为对提示词的编写的最好做法就是直接参考优秀提示词同时增加自己的模块，实践出真章。以上为个人LangGPT生成的有关基础任务的提示词，将其丢入chat试一下。由于家境贫寒，GPT终结了我的白嫖，下面仅使用浦语。最后这个由于GPT终结了我的额度。
2024-11-02 16:59:42
297
原创 书生第四期速通L0-HF
它以其开源的 Transformers 库而闻名，该库提供了多种预训练的深度学习模型，尤其是在自然语言处理领域，如文本分类、问答、翻译和生成任务等。Codespaces 提供了方便的代码编辑和运行环境。在 Codespaces 中，你可以快速创建和配置开发环境，使用 Hugging Face 的 Transformers 库进行模型训练和微调。在 Codespaces 中构建应用程序，将 Hugging Face 训练好的模型集成到应用中，方便进行模型的快速测试和部署。文件通常用于模型的配置和管理。
2024-11-01 21:10:28
733
原创 书生第四期速通L0-Python
注意如果demo.py文件不在打开工作区的根目录下需要调整lanuch.json中的remoteRoot项，否则会导致vscode打开错误的文件（虽然能够正确调试。如果创建了直接修改launch.json为以上内容，在remote-conda环境。后进行调试即可（对demo中缺失的module进行补充，且注意路径。别名 在~/.bashrc下修改，我的如下。创建错了，有点急，看一下官方的做法。debug可以观察到res值如下。remote运行命令。
2024-11-01 16:17:07
327
原创 书生第四期速通L0-Linux
然后直接创建cuda12的虚拟机，不用链接，直接设置ssh，如果已有rsa密钥直接在windows平台~/.ssh目录下寻找id_rsa.pub，以记事本打开复制粘贴至。在vscode这里进行端口映射，然后就能访问了。已有第三期经验，略微偏离官方文档的速通。下载python插件，或者终端运行后。这种随用随问gpt即可。
2024-11-01 14:47:27
274
原创 昇思25天学习打卡训练营_day04张量与稀疏张量
在某些应用场景中（比如推荐系统、分子动力学、图神经网络等），数据的特征是稀疏的，若使用普通张量表征这些数据会引入大量不必要的计算、存储和通讯开销。 张量（Tensor）是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。张量之间有很多运算，包括算术、线性代数、矩阵处理（转置、标引、切片）、采样等，张量运算和NumPy的使用方式类似，下面介绍其中几种操作。表示非零元素的值，shape表示的是被压缩的稀疏张量的形状。
2024-07-03 10:02:12
1591
原创 昇思25天学习打卡训练营_day03总体神经网络模型概述与归一化数据处理
谈到归一化和标准化可能会存在一些概念的混淆，我们都知道归一化是指normalization，标准化是指standardization，但根据wiki上对feature scaling方法的定义，standardization其实就是z-score normalization，也就是说标准化其实是归一化的一种，而一般情况下，我们会把z-score归一化称为标准化，把min-max归一化简称为归一化。因此，标准化的变形与归一化的类似，都可看作对𝑥按比例𝑎进行缩放，再进行𝑐个单位的平移。
2024-06-26 00:05:16
1568
原创 昇思25天学习打卡训练营_day02本地环境下Windows与Ubuntu环境安装MindSpore
下载Ubuntu18.04系统光盘https://releases.ubuntu.com/18.04/ubuntu-18.04.6-desktop-amd64.iso。通过重新启动挂载\VMware\VMware Workstation目录下linux.iso文件出现。通过在解压的目录下运行该脚本文件安装vmware-tools。由于vmware对nvdia的支持补全，此处采用版本如下。VMware简易安装后对18旧版本遇到的问题的解决方案。 安装该软件一路回车即可。进入默认源码目录进行操作。
2024-06-24 17:13:38
415
原创 昇思25天学习打卡训练营_day01数学概念复习以及基础信息
文章采用Typora编写，获得更好的观看体验请自行前往仓库下载源码并使用typora启动。
2024-06-21 20:46:10
1894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人