- 博客(75)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 书生·浦语 第四章：XTuner 大模型单卡低成本微调实战
从结果看，前端的结果与训练过程中验证的结果还存在一定的偏差，可能存在一定的过拟合现象，我喂入的训练数据过多。准备你要微调的数据集，数据集的格数采用json 的格式。微调得到的 文件都默认放在当前的 ./work_dirs 中。然后就可以部署测试了。首先需要准备配置文件。
2024-01-15 23:16:39
581
原创 书生浦语大模型概述
模型评测：选择适合自己需求的模型。不同的大模型，由于训练数据集和训练策略不同，导致大模型的能力也有不同程度的偏好。模型微调：若是选择的大模型基本满足需求，但是又要符合自己的特定场景，在这种情况下，就需要对模型进行微调，活着使用RAG策略。模型评测：经过微调训练的模型，在经过评测之后，判断是否满足自己的需求。模型部署：为了降低模型推理过程的资源占用，降低成本，模型部署还是很有必要的。
2024-01-05 14:08:26
535
原创 【Error】下列软件包有未满足的依赖关系：libdrm-dev : 依赖: libdrm2 (= 2.4.110-1ubuntu1) 但是 2.4.113-2~ubuntu 正要被安装
在安装 package 的时候出现下面的问题。
2023-08-29 19:45:05
1681
原创 ubuntu 22.04 -- cmake安装
错误描述解决方案缺少 openssl 的编译依赖，安装即可安装cmake，没有sudo权限，cannot find openssl；
2023-08-29 17:09:46
5686
1
原创 TensorRT【推理Error】---expecting compute 6.1 got compute 7.5, please rebuild
本地机器上的GPU与线上机器的GPU版本不一致，导致的加速版本不一致。将本地生成的TensorRT模型迁移到线上之后，推理过程中的报错。在线上重新进行TensorRT模型的转换。为什么会产生该错误？
2023-08-16 10:30:16
1459
原创 推理加速 --- torch.compile
PyTorch 2.0 官宣了一个重要特性 —— torch.compile，这一特性将 PyTorch 的性能推向了新的高度，并将 PyTorch 的部分内容从 C++ 移回 Python。torch.compile 是一个完全附加的（可选的）特性，因此 PyTorch 2.0 是 100% 向后兼容的。支撑 torch.compile 的技术包括研发团队新推出的 TorchDynamo、AOTAutograd、PrimTorch 和 TorchInductor。
2023-08-01 16:11:53
8996
原创 编译自定义算子出现的问题（GCFSR）-- fused.so: No such file or directory
使用conda重新创建一个环境进行编译，编译成功。在进行编译，且编译成功，
2023-07-20 15:48:28
1089
2
原创 编译自定义算子出现的问题（GCFSR）-- nvcc not find
1、gcc 版本 部匹配。2、gcc 的位置未指定。注意，你的cuda地址在。
2023-07-20 11:53:16
438
原创 编译自定义算子出现的问题（GCFSR）-- libcudart.so.12: No such file
本文中是在torch调用中报错，在torch官网中发现，在本博客创建时间时，pytorch支持的最高版本的cuda是11.8,对cuda-12是不支持的。2、在进行与cuda相关的编译时，调用了cuda的版本，生成了对应的.so 文件。1、调用的package 与 cuda 版本不匹配。2、删除原来的编译结果，重新进行编译。1、重新安装cuda。
2023-07-20 11:35:30
3057
原创 编译自定义算子出现的问题（GCFSR）--Command ‘[‘ninja‘, ‘-v‘]‘
2、在 cpp_extension.py文件中，3、重新运行，上述问题得到解决。
2023-07-20 11:26:33
1099
5
原创 团队协作--- git使用手册
文章目录常见错误1、在Gitlab上出现“You won't be able to pull or push project code via SSH until you add an SSH key to you”常见错误1、在Gitlab上出现“You won’t be able to pull or push project code via SSH until you add an SSH key to you”解决方法：（1） cd ~/.ssh'如果显示有d_rsa.pub或者id_d
2021-05-14 20:26:09
393
原创 大学行政职务、各类学生以及教师职称的英文翻译
中文名称英文名称校长President副校长Vice-President二级学院院长、教务处长Dean教职员工（教学人员）Faculty教职员工（行政管理人员）Staff校友（毕业生）Alumni--------------------------------------------------------------------------------本科生Undergraduate Student研究生Graduate...
2021-05-11 16:13:18
7309
1
原创 机器学习---损失函数总结（更新中）
文章目录一、简介1.1 参数估计1.2 最大似然估计(Maximum likelihood estimation)1.2.1 定义：1.2.2 最大似然估计的重要前提：1.2.3 具体的数学定义1.2.4 求解步骤1.2.5 举例二、三、交叉熵损失参考资料一、简介常见的机器学习可以分为三个部分：{1、网络结构2、损失函数3、优化策略\begin{cases}1、网络结构 \\2、损失函数 \\3、优化策略\end{cases}⎩⎪⎨⎪⎧1、网络结构2、损失函数3、优化策略本文主要介绍
2021-05-10 16:16:44
1106
原创 机器学习--- 均方误差损失(Mean Squared Error, MSE) --＞[附代码]
文章目录一、简介二、数学推导2.1 导数计算首先求解 bbb：然后求解 www：三、代码实现3.1 python 代码实现3.2 torch 代码实现参考资料一、简介欧氏距离损失经常用在线性回归问题（求解的是连续问题）。回归问题解决的是对具体数值的预测，比如房价预测、销量预测等等。解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。二、数学推导假设训练数据 XXX, 训练数据的 label为Ylabel 为 Ylabel为Y。预测函数为：f(xi)=yi^=wxi+b
2021-05-10 16:08:25
8461
原创 机器学习---数学基础（三、线性代数）
文章目录一、线性空间与线性变换1.1 可交换性 和 结合律1.2 线性空间二、矩阵、等价类和行列式三、特征值与特征向量一、线性空间与线性变换旋转变化：1.1 可交换性 和 结合律AB≠BAAB \neq BAAB=BA对角矩阵可以交换结合律： Ai×j(Bj×kCk×s)=(Ai×jBj×k)Ck×sA_{i×j}(B_{j×k}C_{k×s}) = (A_{i×j}B_{j×k})C_{k×s}Ai×j(Bj×kCk×s)=(Ai×jBj×k)Ck×s1.2 线性空
2021-05-05 13:23:11
864
2
原创 python --编译
文章目录为什么要执行编译文件？执行编译文件，比执行源码文件的速度快。编译文件比源码文件要安全。编译流程生成编译文件python -O -m py compile hello.py
2021-05-01 15:03:48
107
原创 机器学习---数学基础（一、微积分）精华版
文章目录1.5 无穷小阶数1.5.1 等价无穷小代还求极限2、微分与泰勒级数2.1 微分2.1.1 导数2.1.2 求导法则2.2 泰勒级数3、积分与微积分基本定理4、牛顿法1）注意事项（局限性）2）具体做法1.5 无穷小阶数趋近无穷小的速度越快，阶数越大趋近··················越慢，······越小1.5.1 等价无穷小代还求极限2、微分与泰勒级数2.1 微分2.1.1 导数几何定义：函数的切线。2.1.2 求导法则2.2 泰勒级数3、积分与微积分基
2021-04-26 21:20:10
433
原创 图神经网络---图卷积神经网络
文章目录一、图卷积神经网络1.1 基本思想1.2 名词定义1.3 公式说明参考资料一、图卷积神经网络1.1 基本思想已知条件 1）图的结构：节点的连接关系；是否是有向图。2）每个节点对应的 Feature3）哪些属于已知的类别计算过程：得到节点特征表示 ⟶\longrightarrow⟶ 类似全连接或卷积的网络提取特征 ⟶\longrightarrow⟶ 得到结果表示1.2 名词定义1）邻接矩阵【图结构】 AAA 邻接矩阵的维度是：n×nn × nn×n{aij=
2021-04-15 22:29:32
3166
原创 数据集 --- 图神经网络（Graph）
KarateClub：数据为无向图；源于论文 An Information Flow Model for Conflict and Fission in Small GroupsTUDataset：数据为无向图；包含 58 个基础的分类数据集几何，如 “IMDB-BINARY”，“PROTEINS”等；来源于TU Dortmund UniversityPlantoid：数据都为无向图;引用网络数据集，包括“Cora”，“CiteSeer”，和 “PubMed”；来源于论文Revis..
2021-04-15 17:23:28
4261
原创 图神经网络--简介
文章目录一、简介1.1 图(Graph)的定义1.2 GNN(Graph Neural Network)1.3 Graph Tasks（图的应用）1.4 为什么 GNN 比较难？1.5 为什么使用Graphs？（Graph 的优点）1.6 对比 CNN 和 GNN参考资料一、简介1.1 图(Graph)的定义是一组数据结构由节点(vertices,node) 和 边(edges)（节点之间的关系）组成。G=(V,E)G=(V,E)G=(V,E)边的分类{有向边无向边边的分类\begin{c
2021-04-15 15:16:05
238
原创 机器学习---数学基础（二、概率统计）
文章目录1、概率与积分2、条件概率与贝叶斯公式3、大数定律与中心极限定理4、矩估计与极大似然估计1、概率与积分2、条件概率与贝叶斯公式3、大数定律与中心极限定理4、矩估计与极大似然估计...
2021-04-12 15:14:15
511
原创 python版本管理 --- pyenv
文章目录0、简介一、安装教程二、常用指令0、简介pyenv 是用于管理 python 版本的工具包。在 Pyenv 中各个版本的环境独立运行，互不干扰。一、安装教程pyenv安装教程https://github.com/pyenv/pyenv1、下载git clone https://github.com/pyenv/pyenv.git ~/.pyenv2、添加环境变量'''For bash: '''echo 'export PYENV_ROOT="$HOME/.pyenv
2021-04-11 10:16:59
533
原创 机器学习---数学基础（一、微积分）
文章目录1、极限无穷小阶数等价无穷小代还求极限2、微分与泰勒级数（1）微分1）导数2）求导法则（2）泰勒级数3、积分与微积分基本定理4、牛顿法1）注意事项（局限性）2）具体做法微积分的核心思想：逼近1、极限极限的数学符号：无穷小阶数趋近无穷小的速度越快，阶数越大趋近··················越慢，······越小等价无穷小代还求极限2、微分与泰勒级数（1）微分1）导数几何定义：函数的切线。2）求导法则（2）泰勒级数3、积分与微积分基本定理
2021-04-10 21:20:42
556
原创 数据分析
文章目录存在的问题数据分析步骤1、明确问题2、获取数据3、数据处理4、分析数据5、数据可视化存在的问题数据杂乱无序，效率低下缺乏数据思维，汇报无头绪缺少项目经验，理论不落地数据分析步骤分析和挖掘的区别？分析：简单的处理（分组，加，减，乘，除）挖掘：复杂的处理建模通过数学公式，对问题进行解析。现在的建模分为两步：1）应用；2）理解原理1、明确问题日常问题，具体量化（文字问题转化为数字问题）从决策者出发进行考虑例子：30万买一个性价比最高的车1、如何定义
2021-03-31 17:16:17
132
原创 常见的文件读写格式（h5、json、txt）
文章目录一、txt文件的读写二、json文件的读写三、h5文件的读写1）首先介绍一下h5文件2）读取代码实现本文主要介绍的是在深度学习中一些常见文件的读取方法。为了防止自己遗忘，所以记录一下，后期也会不断补充。一、txt文件的读写二、json文件的读写三、h5文件的读写1）首先介绍一下h5文件2）读取代码实现...
2021-03-30 10:30:56
1443
1
原创 Transformer系列--多模态多任务的统一Transformer“Transformer is all you need”
文章目录前言一、Motivation二、网络结构分析三、实验结果分析四、总结与反思五、参考文献前言论文：Transformer is all you need：Multimodal multitask Learning with a Unified Transformer地址：https://arxiv.org/pdf/2102.10772.pdfcode：暂未公布一、MotivationTransformer首先应用于sequence-to-sequence模型的自然语言处理领域。随着Tr
2021-03-07 22:18:21
2789
1
原创 博客模板
文章目录学习计划模板Bug 记录模板论文阅读模板学习计划模板# 学习目标：提示：这里可以添加学习目标# 学习内容：提示：这里可以添加要学的内容例如：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句# 学习时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点# 学习产出：提示：这里统计学习计划的总量例如：1、 技术
2021-03-05 16:34:03
128
原创 机器学习系列--特征工程
文章目录前言1. 结构化数据2. 非结构化数据特征处理1.特征归一化2.类别型特征3.高维组合特征的处理4.5. 文本表示6. Word2Vec7.图像数据不足的处理方法前言在机器学习领域，数据和特征的质量往往决定了最后结果的上限。也就是说如果数据和特征的质量不好，即使机器学习的模型再优秀也无法达到理论的最优值。在本文中，进行讨论的是对数据和特征的处理方法。数据可以分为{结构化数据非结构化数据数据可以分为\begin{cases}结构化数据 \\非结构化数据\end{cases}数据可以
2021-03-01 22:01:28
370
1
原创 jupyter notebook 使用手册
文章目录jupyter notebook 前言介绍jupyter notebook 简单操作1、查看相关帮助2、解决多个python运行环境3、notebook界面说明jupyter notebook 前言介绍jupyter notebook是一种非常适合理解代码结果的代码编辑器（通常称为，文学编程）。jupyter notebook的优点1）适合做数据分析，交互式展示 可以一边写代码，一边显示结果2）可以远程运行3）支持多种语言4）幻灯片制作5）魔术关键字jupyter notebo
2021-02-28 20:24:15
327
原创 安装jupyter notebook 以及注意事项
文章目录一、安装jupyter notebook1、安装python2、 安装ipython3、安装jupyter notebook4、运行jupyter notebook二、可能出现的问题1、修改jupyter的默认打开地址2、 无法打开ipynb文件，并出现错误“500 : Internal Server Error”参考文献一、安装jupyter notebook常见的安装方式都是Anaconda由于 Anaconda占用的内存太大了，所以本文介绍的是直接安装的方法。1、安装python
2021-02-27 21:51:26
229
原创 激励语录
文章目录1、 做最基础的事2、做最前沿的事3、鼓励失败 -- “失败是成功之母，不要在一个地方失败两次”1、 做最基础的事现在社会流行一个名词–“快节奏”。 我们做很多事情太着急了，太急于出成果，急于表现自己。 但是很多事情都是急不来的，中国有句古语–“心急吃不了热豆腐”，也就是告诉我，做一件事要慢慢来。 慢工出喜获，一定要细心，才能做到更好。中国不缺傻人做傻事，但是现在是越来越多的聪明人在做聪明事，聪明事就是快速变现的，带来利益的，然后迎合的，不是他爱的，不是他该干的，而是觉得某些人喜欢什么，我就提
2021-02-17 01:19:29
252
3
Attention Flows：Analyzing and Comparing Attention Mechanisms in Language Models
2020-09-18
Efficient Transformers： A Survey.pdf
2020-09-17
Current limitations of language models：what you need is retrieval.pdf
2020-09-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人