- 博客(30)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Nvidia英伟达Bert .pt/.bin PyTorch模型导出onnx
c. 注释掉以下代码块，因为报错RuntimeError: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int;b. 注释掉以下代码块，因为非GPU环境下无法安装使用apex。d. 插入torch.onnx.export方法以导出onnx。a. 删除以下代码，因为未使用gpu。b. 安装dllogger包。a. 设置python路径。a. 导入onnx模块。
2023-04-20 11:17:18
412
原创 resnet/dssm/roformer修改onnx节点
为定位该精度问题，对 onnx 模型进行切图操作，通过指定新的 output 节点，对比输出内容来判断出错节点。输入 input_token 为 float16，转 int 出现精度问题，手动修改模型输入接受 int32 类型的 input_token。修改 onnx 模型，将 Initializer 类型常量改为 Constant 类型图节点，问题解决。手动修改 onnx 模型，将 pad 和 下面的 max_pool2d 合并，问题解决。from_onnx 中添加参数。
2023-04-14 11:28:44
636
原创 Bert模型预训练介绍与使用
目录预训练本节概要介绍配置预训练Bert模型使用预训练的Bert模型本节概要谷歌bert仓库介绍预训练本节概要bert模型是只有编码器的transformer，用于理解语境 谷歌官方基于不同编码器层数和隐藏神经元数提供了不同的模型配置 预训练过程：输入数据-分词-添加CLS和SEP-掩码和预测-三个嵌入层-嵌入值相加得到嵌入向量-bert模型得到特征向量-送入使用softmax的前馈网络层得到预测的掩码或分类概率-多次迭代优化权重介绍bert是上下
2023-04-14 10:45:49
200
原创 Transformer
解法：Transformer就是为了解决这个问题，将句子中的所有词并行送入神经网络，它整合了编码器和解码器用于自然语言处理任务，替代了RNN和LSTM，衍生出Bert、GPT-3等知名架构。问题：循环神经网络RNN和长短期记忆网络LSTM无法记录长期依赖。RNN是将句子中的词逐个送入神经网络。前馈网络层：两个ReLU激活函数的全连接层。止每层的值剧烈变化，提高训练速度。
2023-04-14 10:32:02
97
原创 深度学习（五）迁移学习（实战：新数据预测+vgg16和聚类预测）
6、成功引入PCA数据降维技术，剔除了数据中的噪音信息、降低了模型复杂度、减少了模型训练时间，并最终提高了模型表现；gen=datagen.flow_from_directory(path,target_size=(224,224),batch_size=2,save_to_dir=dst_path,save_prefix='gen',save_format='jpg') # 生成图片大小224*224，bs产生多少组图像，存储路径和前缀。1、通过使用新数据，实现了模型的2次训练，达到了较好的预测效果；
2023-03-17 14:21:50
593
原创 动手学深度学习（二）数据操作+数据预处理
torch.cat((X, Y), dim=0), torch.cat((X, Y), dim=1) # 在第几维拼接。y = torch.tensor([[1.0, 2, 3], [1, 2, 3]]) # 创建数组。a = torch.arange(3).reshape((3, 1)) # 将1复制成2。b = torch.arange(2).reshape((1, 2)) # 将1复制成3。torch.ones((2, 3, 4)) # 使矩阵内元素全1。1维：向量，[1,2,3]，一个特征向量。
2023-03-16 16:40:54
120
原创 skip-gram模型处理文本
目录理论基础代码总架构代码实战1. 导入包2. 从文件中提取停止词和训练文本3. 建立词典以及生僻词用UNK代替4. 为skipgram生成训练参数5. 构建模型6. 调用负采样，抽取管检测7. 准确率8. 输出词向量理论基础词向量计算工具word2vec，采用了两种语言模型：CBOW：周围词预测中心词 skip gram：中心词预测周围词权重负采样代码总架构导入包 从文件中提取停止词和训练文本 建立词典以及生僻词 为skipgr
2022-02-07 16:29:50
438
原创 mnist数据集LR实战
机器学习简要介绍，NLP基础+实战 让机器“写小说”教程-慕课网 (imooc.com)目录配置代码数据集导入及处理创建神经网络计算损失函数采用adam自适应学习率优化器计算准确率session封装模型运行结果配置anaconda+pycharm+virtualenv环境代码数据集导入及处理mnist 6w训练数据，1w测试数据，按批次batch size存入内存，共有n batch个批次placeholder存放外部输入的数.
2022-02-07 14:58:08
1435
原创 深度学习编译器
深度学习1. 训练框架：Google的TensorFlow：项目部署落地FaceBook的Pytorch：易用性另外亚马逊的MxNet百度的Paddle旷视的MegEngine华为的Mindspore一流科技的OneFlow：分布式训练最快无论选择何种训练框架训练模型，我们最终都是要将训练好的模型部署到实际场景的。2. 模型部署的设备：Intel CPU/Nvidia GPU/Intel GPU/Arm CPU/Arm GPU/FPGA/NPU(华为海思)/BPU
2022-01-12 19:12:01
770
原创 推荐算法（二）DeepFM
PNN：在P部分会损失一些关键信息，因为使用的是降维 DeepCrossing：会将所有特征进行交叉，没有针对性 简单模型：泛化能力不足，忽略高阶的交互 FM：只考虑二阶交叉，高阶会增加计算量，复杂度高 DNN/MLP：天然高阶，低阶的交叉会忽略DeepFM理论：组合其他模型，改进了LR、FM、DNN。在wide&deep的基础上，将wide部分的LR，换成能考虑低阶交叉的FM层级结构特征域 sparse features作为第一层，稀疏，然后放入de...
2021-12-27 16:26:29
726
原创 推荐算法（一）电影推荐系统
目录一、推荐系统基本概念1. 基于内容的推荐系统2. 基于矩阵分解的协同过滤3. 基于item的协同过滤4. 基于用户的协同过滤5. 冷启动问题 cold start6. 混合算法7. 推荐系统性能评估线下评估线上评估二、使用TF构建电影推荐系统1. 数据收集2. 数据准备3. 构建模型4. 模型训练5. 模型评估6. 构建完整的电影推荐系统一、推荐系统基本概念1. 基于内容的推荐系统给定电影部分评分表和电影内容矩阵X，求解用
2021-12-27 15:06:56
14400
6
原创 计算机视觉（四）全连接神经网络MLP
目录多层感知器/全连接神经网络一、全连接神经网络绘制二、激活函数常用的激活函数三、网络结构设计四、损失函数softmax交叉熵损失对比多类支持向量机损失五、优化算法计算图与反向传播计算图的颗粒度（例子）常见的门单元激活函数六、梯度算法改进梯度下降算法存在的问题动量法自适应梯度（AdaGrad，RMSProp）ADAM七、训练过程随机权值初始化：保证正反向传递批归一化Batch Normal：保证正反向传递欠拟合，过拟
2021-12-21 17:11:04
5676
原创 计算机视觉（三）线性分类器
目录线性分类器数据集介绍分类器设计图像类型图像表示选择分类模型线性分类器权值w分界面/决策边界损失函数多类支持向量机损失正则项超参数L2正则项L1正则项优化算法（梯度下降）梯度下降算法随机梯度下降算法小批量梯度下降算法数据集划分训练数据测试数据验证数据K折交叉验证数据预处理线性分类器数据集介绍CIFAR10，5w张训练样本，1w张测试样本，含飞机、汽车、鸟、猫、船、卡车等十个类别图像均为彩色图像
2021-12-20 16:27:54
2829
原创 计算机视觉（二）图像分类
目录一、图像分类难点：对问题的拆解目前流行的图像分类方法分类器设计与学习图像表示分类器损失函数优化算法训练过程评价指标一、图像分类图像分类：核心任务，根据图像信息中的不同特征，对图像进行分类。从已知的类别标签集合中为给定的输入图片选定一个类别标签。应用：软件识图难点：对问题的拆解语义到像素的映射：像素是底层的用字节表示，语义是高层的 视角：人脸正面与侧面 光照：光线变化 尺度：尺度大小是相对的，自适应远近 遮挡： 形变：猫 背景杂
2021-12-20 12:28:15
4411
原创 计算机视觉（一）介绍
内容使用卷积神经网络：图像分类，目标检测，图像分割，图像描述，图像生成深度网络结构：全连接，卷积，循环，变分自编码，生成对抗GAN共计15课，每课约1h30m介绍 图像分类任务介绍 线性分类器 全连接神经网络 卷积&图像去噪&边缘提取 纹理表示 卷积神经网络 经典网络分析 图像分割 目标检测 可视化 生成模型VAE 生成模型GAN GAN论文分析应用视频和图像处理：归类，优化 摄像机：足球门线处理 监控：车牌，人脸识别 医学：..
2021-12-18 15:34:38
1572
原创 动手学深度学习（一）机器学习介绍
介绍自然语言处理：语言翻译，符号学+概率模型+机器学习计算机视觉：概率模型+机器学习深度学习：机器学习图片分类：imagenet数据集中约100万张图片 物体检测 样式迁移 人脸合成 文字生成图片 文字生成：文章，代码 无人驾驶：物体检测，路线识别案例（广告点击）：根据用户输入提供广告 问题分为三个阶段：触发：根据输入关键字找到相关广告 点击率预估（机器学习）：看到广告之后预测点击的概率 排序：点击率*竞价机器学习模型：预测点击率：看到广告--特征提取-
2021-12-16 15:14:26
616
原创 动手学深度学习
在线课程：课程安排 - 动手学深度学习课程教材：《动手学深度学习》 — 动手学深度学习 2.0.0-beta0 documentation领域大神们的精华！
2021-12-16 14:29:12
776
原创 NLP自然语言处理全套教程传送门
1. pytorch：1. Pytorch基本语法 - PyTorch2. Pytorch初步应用 - PyTorch2. 自然语言处理入门：NLP入门云服务器使用入门 - NLP入门3. 文本预处理：第一章:文本预处理 - 文本预处理第二章:新闻主题分类任务 - 文本预处理4. 经典序列模型：HMM与CRF - 经典的序列模型5. RNN及其变体：1. RNN架构解析 - 学习手册2. RNN经典案例 - 学习手册6. Transformer：..
2021-12-15 12:35:54
590
1
原创 深度学习（二）卷积神经网络CNN
目录一、 定义和公式1. 图像卷积运算：图像矩阵*Filter2. 池化层实现维度缩减（最大法&平均法）3. 卷积神经网络 CNN 介绍、特点、问题4. 经典的CNN模型：LeNet-5，AlexNet，VGG-164.1 LeNet-54.2 AlexNet4.3 VGG-16二、 代码实战1. 建立CNN模型实现猫狗图像识别，并对新图像进行预测1.1 CNN结构图1.2 建立CNN模型实现猫狗图像识别1.3 对新图像进行预测2. 基于V..
2021-12-13 11:56:28
2052
原创 深度学习（一）多层感知器MLP/人工神经网络ANN
一、定义和公式1. 多层感知器 Multi Layer Perceptron MLP由于当逻辑回归模型中的属性过多，会导致多项式的数据量很大，解决这个问题可以使用MLP，也叫人工神经网络ANN，该模型结构模仿人的思考机制。神经元结构的数值化（类似逻辑回归模型框架）：在MLP应用中，可以把激活函数替换为relu、tanh、softmax等多层感知器MLP模型框架（多个逻辑回归模型叠加在一起）：数学表达式为：逻辑回归模型与神经网络模型之间的关系：...
2021-12-11 23:22:56
4748
2
原创 机器学习（五）模型评估与优化
目录一、定义和公式1. 过拟合Overfit与欠拟合Underfit2. 数据分离与混淆矩阵 Confusion Matrix3. 模型优化二、 代码实战1. 酶活性预测1.1 建立线性回归模型，计算测试数据集上的R2分数，可视化1.2 加入多项式特征（2次，5次）建立回归模型，用R2分数对比两个模型预测结果1.3 可视化多项式回归模型，对比两个模型预测结果2. 芯片质量好坏预测2.1 根据高斯分布概率密度函数，寻找异常点并剔除2.2 基于data_class
2021-12-11 12:17:05
2063
原创 机器学习（四）其它技术：决策树，异常检测，PCA
目录一、 定义和公式1. 决策树 Desicion Tree2. 异常检测 Anomaly Detection3. 主成分分析 PCA二、 代码实战1. Iris鸢尾花数据集1.1 决策树1.2 异常检测1.3 PCA一、 定义和公式1. 决策树 Desicion Tree决策树：对实例进行分类的树形结构，通过多层判断区分目标所属类别缺点：忽略属性间的相关性，样本分布不均匀时影响表现给定训练数据集：核心：特征选择(每个叶子)应该用哪个特征三种
2021-12-10 18:33:15
1914
原创 机器学习（三）聚类算法
目录一、 定义和公式1. 聚类算法2. 应用：3. 聚类算法分类：KMeans，Meanshift，DBSCAN3.1 K均值聚类 KMeans：无监督学习3.2 K近邻分类 Nearest Neighbor KNN：监督学习3.3 MeanShift：无监督学习二、 代码实战1.2D数据类别划分1.1采用Kmeans算法实现2D数据自动聚类，预测V1=80,V2=60数据类别，计算预测准确率，完成结果矫正1.2采用KNN算法实现2D数据自动聚类，预测V1=...
2021-12-10 16:53:32
1153
4
原创 机器学习（二）逻辑回归
目录一、 定义和公式1. 分类问题2. 分类任务与回归任务的区别3. 使用逻辑回归解决分类问题二、 代码实战1. 使用逻辑回归预测芯片质量三、问题：1. 为什么不能用线性回归中获得系数的方法来求解逻辑回归中的系数呢？2. 为什么叫逻辑回归，而不是逻辑分类？一、 定义和公式1. 分类问题根据已知样本的某些特征，判断新样本属于哪种已知的样本类常见的分类问题有：垃圾邮件，图像分类，数字识别，考试通过预测...分类问题的解决方法有：逻辑回归，K近邻KNN，.
2021-12-10 15:58:54
670
原创 机器学习（一）线性回归
目录一、定义和公式：1. 回归分析 Regression Analysis：2. 线性与非线性：3. 线性回归：回归分析中，变量与因变量之间存在线性关系4. 评估模型表现的方法：二、 代码实战：1. 线性回归LR实现线性预测：2. 建立线性回归模型，实现房价预测：一、定义和公式1. 回归分析 Regression Analysis根据数据确定两种及两种以上变量间的依赖关系2. 线性与非线性线性：如，匀速前进，时间0时在0处，求时间t时在哪里？距离=.
2021-12-10 14:58:51
657
原创 数据结构与算法基础（python3）
时间复杂度：o(1) < o(logn) < o(n) < o(nlogn) < o(n^2) < o(n^2logn) < o(n^3)一、递归1. 汉诺塔：移动次数：h(x)=2*h(x-1)+1def hanoi(n,a,b,c): # n个圆盘，abc三个桩 if n>0: hanoi(n-1,a,c,b) # 由a经过c到b print("moving fro...
2021-12-10 12:48:50
287
空空如也
怎样删除未标准化数据，将标准化后数据合并
2021-12-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人