
学习笔记
文章平均质量分 71
AI/数学/ROS/机械设计/数据库/web
优惠券已抵扣
余额抵扣
还需支付
¥39.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
每天学点
这个人很懒,没有简介
展开
-
制定产品宽高比相关标准的考量维度
模数化设计:定义基础模数(如100mm),使部件可批量生产、灵活组合.案例如,建筑门窗按模数协调尺寸(GB/T 5824),减少切割损耗。操作舒适性:手持设备(如手机)宽高比需适配手掌尺寸(16:9 vs 18:9的握持感差异)。视觉感知:显示设备比例需平衡信息密度与沉浸感(如影院21:9 vs 办公屏16:9)。核心场景适配:明确产品核心用途(如运输、显示、存储),确定宽高比对功能的影响权重。测试不同比例下的热阻系数(如1:1 vs 2:1外壳的温升差异)。推荐层:行业最佳实践(如建筑模数、屏幕比例)。原创 2025-02-21 17:02:34 · 45 阅读 · 0 评论 -
PLC Twincat3 对传感器数据滑动平均滤波
PLC Twincat3 对传感器数据滑动平均滤波。下面代码定义了一个名为FB_Filter的功能块(Function Block),用于对四个输入值进行滤波处理,以消除或减少噪声和波动。这里使用的是滑动平均滤波器(Moving Average Filter)的方法。原创 2024-09-25 21:55:48 · 266 阅读 · 0 评论 -
Unity 使用协程非阻塞执行程序
Unity协程是一种允许在不阻塞主线程的情况下暂停和恢复代码执行的功能,它通常用于处理延时操作、复杂逻辑处理、异步加载等场景。Unity的协程支持多种类型的等待操作,包括等待一段时间(`WaitForSeconds`)、等待直到下一帧(`WaitForEndOfFrame`)、等待直到某个条件为真(通过自定义的`yield return`语句)等。这使得协程在处理各种需要等待的异步操作时非常灵活和强大。以下是Unity协程的使用方法:原创 2024-09-23 21:32:20 · 460 阅读 · 0 评论 -
unity Compute Shaders 使程序在GPU中运行
Compute Shaders 在 Unity 中是一种非常强大的工具,允许你直接在 GPU 上执行 C-like 代码,用于执行大规模并行计算任务,如物理模拟、图像处理、数据并行算法等。以下是使用 Compute Shaders 的基本步骤原创 2024-09-23 21:17:39 · 535 阅读 · 0 评论 -
unity 键盘控制物体移动
方法来控制游戏对象围绕特定点和轴进行旋转。通过改变旋转的中心点、轴和角度,可以实现各种复杂的动画效果。这个方法多用于机械臂。使用时,将脚本绑定在某个obj上,然后绑定要控制运动的物体如下图的Sphere。在三维空间中的移动。通过键盘输入控制一个游戏对象原创 2024-09-12 20:49:51 · 1236 阅读 · 0 评论 -
解决:OSError: [WinError 127] 找不到指定的程序 c10_cuda.dll
解决:OSError: [WinError 127] 找不到指定的程序 c10_cuda.dll" or one of its dependencies.pycharm:file->settings:添加自己的环境到路径测试:不报错说明正常。原创 2024-07-12 09:52:23 · 1604 阅读 · 0 评论 -
论文阅读:A mountable toilet system for personalized health monitoring via the analysis of excreta
A mountable toilet system for personalized health monitoring via the analysis of excreta原创 2023-06-07 13:38:45 · 542 阅读 · 2 评论 -
论文阅读:《A portable urine analyzer based on colorimetric detection》
作者引入了一种新颖的尿液分析系统,用一种口袋大小的设备来测量和跟踪 11 种常规指标的水平。这种便携式尿液分析设备能够为真实的尿液样本提供准确的检测,其重复性可与医院的商业仪器相媲美。RGB 值和检测指标浓度的核心计算曲线是基于广泛认可的 CIE 1931颜色空间和样条插值。此外,采用黑色区域和空白指数垫作为校准区域进行校准,以减小环境光和其他干扰因素的影响。原创 2023-04-20 12:20:38 · 525 阅读 · 2 评论 -
论文阅读《Smartphone-based, automated detection of urine albumin using deep learning approach》
作者研究了一种自动的,无附件的分析系统,使用智能手机定量白蛋白尿。一种定制的卷积神经网络(CNN)模型以及不同的颜色空间被用来分类尿试纸中的白蛋白浓度。为了缓解环境光线条件,在室内使用了智能手机摄像头“闪光灯”模式。研究了CNN模型在不同光照条件下和不同智能手机模型下的表现,测试数据的准确率达到88%。原创 2023-04-13 17:55:45 · 385 阅读 · 0 评论 -
论文阅读:《An Optical POCT Device for Colorimetric Detection of Urine Test Strips...》
在本研究中,作者提出了一种基于光学POCT设备的多分析物纸张传感阵列的简单可靠的比色方法。所提出的颜色校正算法有效地消除了外界光线的影响。此外,在没有参考设备的情况下,使用H和S参数从数字彩色图像中提取定量分析信息。通过调节灯的亮度、灯的类型、灯的角度和相机的高度来优化比色法的葡萄糖传感条件。检测结果表明,该方法对尿液试纸条中各指标的定量分析具有较高的准确性,对浓度的分辨率也有所提高。作者建立了一种用于快速、灵敏和自动光学检测的POCT设备,该设备可用于分析实际尿液样本或与其他试纸进行体外诊断。原创 2023-04-11 14:20:20 · 262 阅读 · 0 评论 -
SolidWorks 小车底盘 装配体
通过制作小车底盘了解solidworks装配体的部分知识原创 2023-04-06 17:07:25 · 1401 阅读 · 0 评论 -
SolidWorks 草图和特征
solidworks 草图和特征 学习原创 2023-04-04 15:57:03 · 792 阅读 · 0 评论 -
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播一、what is 反向传播二、乘法节点的反向传播三、加法节点的反向传播四、加法层和乘法层混合应用一、what is 反向传播误差反向传播法是一种高效计算权重参数的梯度的方法。所谓的反向传播,从图上看的话,就是从右向左的传播。举个例子,如图所示,jym买了两个100元一个的苹果,消费税是10%,最终输出支付金额,这个图就表示了一个计算的流程。正向看都能理解,就是100和2相乘得到200,作为下一个节点的入,然后200和1.1相乘原创 2022-01-05 11:15:25 · 792 阅读 · 0 评论 -
卷积神经网络的整体结构、卷积层、池化、python实现
卷积神经网络的整体结构、卷积层、池化、python实现一、整体结构二、卷积层三、池化层四、python实现卷积层、池化层一、整体结构神经网络相邻层所有神经元之间都有连接,称为全连接。前面用Affine层实现了全连接。举个例子全连接神经网络结构:卷积神经网络CNN的结构:新增了Conv卷积层和Pooling池化层,之前的Affine-ReLU连接替换成了Conv-ReLU-Pooling连接。CNN中,靠近输出的层中使用之前Affine-ReLU组合,最后输出层使用之前Affine-soft原创 2022-01-06 13:09:08 · 1800 阅读 · 0 评论 -
skip gram模型的实现
CBOW模型的概率表示:P(A):A发生的概率。P(A,B):事件A和事件B同时发生的概率,称为联合概率。P(A|B):在给定事件B的信息后,事件A发生的概率,称为后验概率。CBOW模型:当给定某个上下文时,输出目标词的概率。用数学式来表示给定上下文wt-1和wt+1时目标词为wt的概率:交叉熵误差函数公式:yk是神经网络的输出, tk是正确解标签, k表示数据的维数。如果标签为one-hot表示,即tk中只有正确解标签索引为1,其他均为0 。那么式子只计算对应正确解标签的输出的自然对数。原创 2022-01-17 22:00:53 · 1291 阅读 · 1 评论 -
使用python对数据集进行批处理
【机器学习】使用python对数据集进行批处理只输入一张图像数据过程和一次性处理100张图像数据过程中,数组形状变换如下图所示:这些数组形状可以在代码中输出出来:def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False) return x_test, t_testdef init_network():原创 2022-01-02 22:00:15 · 1265 阅读 · 0 评论 -
二分类改进CBOW
解决问题二:中间层的神经元和权重矩阵的乘积、Softmax 层的计算需要花费很多计算时间第k个单词的 Softmax 的计算式如下,其中Si是第i个单词的得分。这个计算也与词汇量成正比,所以需要一个替代Softmax的计算。使用 Negative Sampling (负采样) 替代 Softmax。也就是用二分类拟合多分类。多分类问题:从100万个单词中选择1个正确单词。二分类问题:处理答案为是或否的问题,比如目标词是 say 吗。让神经网络来回答:当上下文是 you 和 goodbye 时,目原创 2022-01-19 23:35:00 · 727 阅读 · 0 评论 -
下载MNIST数据集并使用python将数据转换成NumPy数组(源码解析)
下载MNIST数据集并使用python将数据转换成NumPy数组首先来分析init_mnist函数接下来继续分析load_mnist函数实现数据集转换的python脚本的代码显示MNIST图像并确认数据下载MNIST数据集并将数据转换成NumPy数组的Python脚本里面最重要的就是load_mnist函数,其他项目想要调用数据集的话,就可以调用load_mnist函数,得到一个字典类型的数据,字典的值是一个Numpy数组。这些过程是如何实现的,现在开始逐字逐句分析源码:在load_mnist函数中第原创 2022-01-02 20:18:43 · 3788 阅读 · 3 评论 -
神经网络如何调参、超参数的最优化方法、python实现
神经网络如何调参、超参数的最优化方法、python实现一、what is 超参数二、超参数优化实验一、what is 超参数超参数是什么,其实就是,各层神经元数量、batch大小、学习率等人为设定的一些数。数据集分为训练数据、测试数据、验证数据。用测试数据评估超参数值的好坏,就可能导致超参数的值被调整为只拟合测试数据,所以加了个验证数据。训练数据用于参数的学习,验证数据用于超参数的性能评估。进行超参数最优化,重要的是,逐渐缩小超参数好值存在范围。一开始大致设定一个范围,从范围中随机采样出超参数原创 2022-01-06 11:55:24 · 4562 阅读 · 1 评论 -
Embedding改进CBOW
假设词汇量为 100 万个时的 CBOW 模型如下,输入层和输出层存在 100 万个神经元。下面两个问题导致耗时严重。问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多,计算 one-hot 表示与权重矩阵 的乘积,需要花费大量时间。问题二、中间层和权重矩阵的乘积以及 Softmax 层的计算。需要大量的计算,花费大量时间。解决问题一:计算one-hot 表示矩阵和权重矩阵的乘积,其实就是将权重矩阵的某个特定的行取出来。如下图所示。Embedding 层原创 2022-01-19 23:36:53 · 914 阅读 · 0 评论 -
普通RNN的缺陷—梯度消失和梯度爆炸
之前的RNN,无法很好地学习到时序数据的长期依赖关系。因为BPTT会发生梯度消失和梯度爆炸的问题。RNN梯度消失和爆炸对于RNN来说,输入时序数据xt时,RNN 层输出ht。这个ht称为RNN 层的隐藏状态,它记录过去的信息。语言模型的任务是根据已经出现的单词预测下一个将要出现的单词。学习正确解标签过程中,RNN层通过向过去传递有意义的梯度,能够学习时间方向上的依赖关系。如果这个梯度在中途变弱(甚至没有包含任何信息),权重参数将不会被更新,也就是所谓的RNN层无法学习长期的依赖关系。梯度的流动如下图原创 2022-02-18 13:25:36 · 2474 阅读 · 1 评论 -
使用权值衰减算法解决神经网络过拟合问题、python实现
使用权值衰减算法解决神经网络过拟合问题、python实现一、what is 过拟合二、过拟合原因三、权值衰减四、实验验证4.1制造过拟合现象4.2使用权值衰减抑制过拟合一、what is 过拟合过拟合指只能拟合训练数据,但不能很好拟合不包含在训练数据中的其他数据的状态。二、过拟合原因模型参数过多、表现力强训练数据少三、权值衰减这玩意在之前提到过,就是减小权值,通过在学习过程中对大的权重进行惩罚,来抑制过拟合。深度学习目的是减小损失函数的值,那么为损失函数加上权重平方范数,就可以抑制权重变大。原创 2022-01-06 10:57:29 · 1059 阅读 · 0 评论 -
损失函数、python实现均方误差、交叉熵误差函数、mini-batch的损失函数
损失函数what is 损失函数均方误差交叉熵误差计算mini-batch学习的损失函数why 损失函数what is 损失函数神经网络学习目标是找到各层合适的权重参数w和偏置b,使得最终的输出结果能够与实际结果更加接近。那神经网络的这些权重参数是如何得到的:靠损失函数这个指标来进行一步步训练优化得到。通过使损失函数最小,来寻找最优权重参数。学习的目的就是以该损失函数为基准,找出能使它的值达到最小的权重参数。均方误差yk是神经网络的输出, tk是监督数据, k是数据的维数。用python实现均原创 2022-01-04 11:29:59 · 4048 阅读 · 0 评论 -
解决神经网络过拟合问题—Dropout方法、python实现
解决神经网络过拟合问题—Dropout方法一、what is Dropout?如何实现?二、使用和不使用Dropout的训练结果对比一、what is Dropout?如何实现?如果网络模型复杂,L2范数权值衰减方法就难以对付过拟合。这种情况下,用Dropout方法。Dropout是一种在学习过程中随机删除神经元的方法。训练时,随机选出隐藏层神经元,然后将其删除。每传递一次数据,就会随机选择要删除的神经元。测试时,对各个神经元的输出,要成上训练时的删除比例。实现代码:每次正向传播,self.m原创 2022-01-06 11:17:26 · 1768 阅读 · 0 评论 -
通过共现矩阵和余弦相似度实现机器对单词的认知、python实现
通过共现矩阵和余弦相似度实现机器对单词的认知、python实现本文介绍的定义:一、语料库预处理二、单词的分布式表示三、单词的相似度四、相似单词排序本文介绍的定义:语料库、计数方法的目的、语料库预处理、单词的分布式表示、分布式假设、上下文、窗口大小、基于计数的方法表示单词、用向量表示单词、共现矩阵、单词的相似度、余弦相似度、相似单词排序。一、语料库预处理语料库:大量的文本数据。计数方法的目的:从语料库中提取语言的本质。语料库预处理:将文本分割为单词,并将分割后的单词列表转化为单词ID列表。实现代码原创 2022-01-13 23:43:16 · 627 阅读 · 1 评论 -
RNNLM
RNNLM基于RNN的语言模型称为RNNLM(Language Model)。Embedding 层:将单词ID转化为单词的分布式表示(单词向量)。RNN层:向下一层(上方)输出隐藏状态,同时也向下一时刻的RNN层(右边)输出隐藏状态。对于“you say goodbye and i say hello.”如果模型学习顺利。输入的数据是单词ID列表,输入单词ID为0的you,Softmax层输出的概率分布P0中,say的概率最高。这说明预测出了you后面出现的单词为say。输入单词ID为1的s原创 2022-02-17 23:06:44 · 1817 阅读 · 0 评论 -
关于神经网络权重初始值的设置的研究
关于神经网络权重初始值的设置的研究一、权重初始值二、权重初始值会影响隐藏层的激活值分布三、Xavier初始值四、He初始值五、基于MNIST数据集的权重初始值的比较一、权重初始值权值衰减—抑制过拟合、提高泛化能力。所谓权值衰减,即,以减小权重参数的值为目的进行学习。所以说人们一开始,就想把权重初始值设置的比较小。那如果权重初始值全设为0或者一样的值呢?那可不行,如果输入层权重为0,那么第二层神经元都到的全是0,如果第二层是乘法节点,拿上图举例子,x=y=0,所以返回来的两个梯度是一个样的。就没意原创 2022-01-05 21:30:02 · 1398 阅读 · 0 评论 -
循环神经网络RNN
RNN(Recurrent Neural Network)循环神经网络。类比血液在体内循环,从过去一直被更新到现在。RNN具有环路。这个环路可以使数据不断循环。通过数据的循环,RNN一边记住过去的数据,一边更新到最新的数据。RNN层的循环结构RNN层的循环结构和它的展开如下图所示。下面的多个RNN层都是同一个层;输出分叉了,也就是说同一个输出被复制了,其中的一个输出将成为自身的输入。xt是t时刻的输入数据,输入t时刻的RNN层。各个时刻的RNN层接收t时刻的输入数据和前一个RNN层的输出数据。原创 2022-02-17 14:30:10 · 4844 阅读 · 0 评论 -
LSTM的结构
RNN和LSTM简略表示RNN层:长方形节点中包含了矩阵乘积、偏置的和、tanh函数的变换。将下面这个公式表示成一个tanh节点。LSTM:Long Short-Term Memory(长短期记忆),长时间维持短期记忆。LSTM与RNN的接口(输入输出)如下图,不同地方在于,LSTM还有路径c 。c称为记忆单元。记忆单元在LSTM层内部结束工作,不向其他层输出。记忆单元仅在LSTM层内部接收和传递数据。ct存储了时刻t时LSTM的记忆(保存了从过去到时刻t的所有必要信息)。LSTM层结构原创 2022-02-18 22:51:17 · 2018 阅读 · 1 评论 -
基于SVD的降维优化
基于SVD的降维优化向量降维:尽量保留数据“重要信息”的基础上减少向量维度。可以发现重要的轴(数据分布广的轴),将二维数据 表示为一维数据,用新轴上的投影值来表示各个数据点的值,示意图如下。稀疏矩阵和密集矩阵转换:大多数元素为0的矩阵称为稀疏矩阵,从稀疏矩阵中找出重要的轴,用更少的维度对其进行重新表示。结果,稀疏矩阵就会被转化为大多数元素均不为0的密集矩阵。这个密集矩阵就是我们想要的单词的分布式表示。奇异值分解(Singular Value Decomposition,SVD):任意的矩阵X分解为U原创 2022-01-13 23:50:52 · 1436 阅读 · 0 评论 -
使用python构建三层神经网络、softmax函数
【机器学习】使用python手写三层神经网络输入层到第一层的传递表示第一层到第二层的传递表示第二层到第三层的传递表示全过程传递表示代码输入层到第一层的传递表示首先看输入层到第一层的第一个神经元的信号传递过程:可以用数学式子表示第一层的第一个神经元的值:如果用矩阵乘法运算,第一层的加权和可以表示成下面形式:考虑激活函数的话,也就是这样一个代码表示形式:其中A1就包含了第一层所有节点的加权值。加权值带入到激活函数里得到的Z1是下一层的输入。A1 = np.dot(X,W1) + B1Z1 =原创 2022-01-02 21:30:02 · 903 阅读 · 0 评论 -
基于随机梯度下降法的手写数字识别、epoch是什么、python实现
基于随机梯度下降法的手写数字识别、epoch是什么、python实现一、普通的随机梯度下降法的手写数字识别1.1 学习流程1.2 二层神经网络类1.3 使用MNIST数据集进行学习注:关于什么是epoch二、基于误差反向传播算法求梯度的手写数字识别2.1 学习流程2.2 实现与结果分析一、普通的随机梯度下降法的手写数字识别1.1 学习流程1.从训练数据中随机选择一部分数据2.计算损失函数关于各个权重参数的梯度这里面用数值微分方法求梯度3.将权重参数沿梯度方向进行微小的更新4.重复前三个步骤1原创 2022-01-07 11:35:25 · 3888 阅读 · 0 评论 -
实现CBOW模型类
初始化:初始化方法的参数包括词汇个数 vocab_size 和中间层的神经元个数 hidden_size。首先生成两个权重(W_in 和 W_out),并用一些小的随机值初始化这两个权重。设置astype(‘f’),初始化将使用 32 位的浮点数。生成层:生成两个输入侧的 MatMul 层、一个输出侧的 MatMul 层,以及一个 Softmax with Loss 层。保存权重和梯度:将该神经网络中使用的权重参数和梯度分别保存在列表类型的成员变量 params 和 grads 中。正向传播 for.原创 2022-01-16 22:01:38 · 887 阅读 · 0 评论 -
改进版的CBOW模型
复习首先复习一下之前的CBOW笔记。采用推理的方法认知单词、CBOW模型这里面主要是:CBOW模型的核心思路:给出周围的单词(上下文)时,预测目标词处会出现什么单词。要用神经网络处理单词,需要先将单词转化为固定长度的向量,这就引出了单词的表示。单词的表示:将单词转化为固定长度的向量(one-hot 表示),神经网络的输入层的神经元个数就可以固定下来。CBOW模型:它是根据上下文预测目标词的神经网络。模型的输入是上下文。大致结构如下。上图中的Win和Wout都是矩阵,也就是说,全连接层变换可以原创 2022-01-29 20:21:30 · 1898 阅读 · 0 评论 -
采用推理的方法认知单词、CBOW模型
基于计数的方法,根据一个单词周围的单词的出现频数来表示该单词。需要生成所有单词的共现矩阵,再对这个矩阵进行 SVD,以获得密集向量,如果语料库处理的单词数量非常大,将需要大量的计算资源和时间。基于计数的方法使用整个语料库的统计数据(共现矩阵、PPMI),通过一次处理(SVD)获得单词的分布式表示。基于推理的方法,使用神经网络,在 mini-batch 数据上进行学习,神经网络一次只需要看一部分学习数据(mini-batch),并反复更新权重。神经网络的学习可以使用多台机器、多 个 GPU 并行执行,从而加原创 2022-01-16 21:47:28 · 487 阅读 · 0 评论 -
感知机实现与、或、与非门和异或门
机器学习-感知机【perceptron】what is 感知机单层感知机运用实例多层感知机what is 感知机感知机接收多个输入信号,输出一个信号。接收两个信号的感知机,如下图:x1与x2是输入信号;y是输出信号;w1与w2是权重。圆圈O代表”神经元”或者”节点”。**神经元被激活:**当x1w1+x2w2超过某个界限值时,y才会输出1。**阈值:**这里将界限值称为阈值,用θ符号表示。权重越大,对应该权重的信号的重要性就越高。由此可以得到感知机的一种数学表示方法:感知机的另一种数原创 2022-01-01 10:17:52 · 6789 阅读 · 0 评论 -
神经网络的激活函数、并通过python实现激活函数
神经网络的激活函数、并通过python实现what is 激活函数激活函数的python实现python实现阶跃函数python实现sigmoid函数python实现ReLU函数激活函数的特点what is 激活函数感知机的网络结构如下:左图中,偏置b没有被画出来,如果要表示出b,可以像右图那样做。用数学式来表示感知机:上面这个数学式子可以被改写:我们表达的意义是:输入信号的总和被h(x)转换成输出y。像h(x)函数一样,将输入信号的总和转换为输出信号,这种函数一般被称为激活函数。上面这原创 2022-01-02 10:20:34 · 1793 阅读 · 2 评论 -
基于深度学习的手写数字识别、python实现
基于深度学习的手写数字识别、python实现一、what is 深度学习二、加深层可以减少网络的参数数量三、深度学习的手写数字识别一、what is 深度学习深度学习是加深了层的深度神经网络。二、加深层可以减少网络的参数数量加深层的网络可以用更少参数获得与没有加深层同等水平的表现力。一次5 * 5卷积运算,可以由两次3 * 3卷积运算抵充。前者参数数量25,后者18 。而且,参数数量差随着层加深,变大。叠加小型滤波器来加深网络好处是减少参数的数量,扩大receptive filed(感受野)原创 2022-01-07 13:31:54 · 4349 阅读 · 0 评论 -
CBOW模型的数据预处理
数据预处理:从语料库生成上下文和目标词。如下图所示,contexts 的各行成为神经网络的输入,target 的各行成为正确解标签(要预测出的单词)。之前做过一个preprocess函数,将文本分割为单词,并将分割后的单词列表转化为单词ID列表。实现代码如下,其中corpus 是单词ID列表,word_to_id 是单词到单词ID的字典,id_to_word是单词ID到单词的字典。def preprocess(text): text = text.lower() text = text原创 2022-01-16 21:57:19 · 238 阅读 · 0 评论 -
二分类负采样方法
多分类问题处理为二分类问题,需要能够正确地对正例和负例进行分类。如果以所有的负例为对象,词汇量将增加许多,无法处理。作为一种近似方法,将只使用少数负例。负采样方法:求正例作为目标词时的损失,同时采样(选出)若干个负例,对这些负例求损失。然后,将正例和采样出来的负例的损失加起来,作为最终的损失。例子如下图所示。负采样的采样方法:抽取负例:让语料库中常出现的单词易被抽到,不常出现的单词难被抽到。基于频率的采样方法:计算语料库中各个单词的出现次数,并将其表示为概率分布,然后使用这个概率分布对单词进行采原创 2022-01-19 23:31:34 · 1115 阅读 · 0 评论