- 博客(17)
- 收藏
- 关注
RSS订阅原创 java包
方式写出的字符串对象，会存储到字符串常量池，且相同内容的字符串只存储一份;但通过new方式创建字符串对象，每new一次都会产生一个新的对象放在堆内存中。从集合中遍历元素，并筛选出元素删除它，应该如何操作才能不出bug?如何生成 65-91之间的随机数?（编译优化除外，见案例2）
2025-06-30 10:41:07
1463
原创 java基础语法
如果子父类中，出现了重名的成员，会优先使用子类的，如果此时一定要在子类中使用父类的怎么办?权限修饰符用来限制类中的成员(成员变量、成员方法、构造器、代码块…在表达式中，小范围类型的变量，会自动转换成表达式中较大范围的类型，再参与运算。作用:和构造器一样，都是用来完成对象的初始化的，例如:对实例变量进行初始化赋值。)去调用该类的其他构造器的。是类的5大成分之一(成员变量、构造器、方法、代码块、内部类)。子类的全部构造器，都会先调用父类的构造器，再执行自己。作用:完成类的初始化，例如:对类变量的初始化赋值。
2024-02-22 13:49:54
1485
1
原创 如何理解Word2Vec不能解决一词多义问题？
BERT不一样，输入encoder的时候是好多个词一块进去的，如果输入"我爱水果苹果" 和 “我爱苹果电脑” ，encoder输出的embedding肯定是不一样的。如果我们encoder只输入一个词，那么apple肯定在任何时候的embedding都是一样的。，也就是一个查字典操作（look-up table）,这个取出来的就是词向量代表。以CBOW为例，训练模型的目的就是得到训练好的embedding层的权重矩阵。训练的过程就是通过预测被扣掉的词，计算预测词和真实词的Loss，逐渐调整矩阵。
2023-04-14 15:41:46
25
原创 MLM、NSP（一般用于BERT预训练任务）
MLM任务：Mask Language Model，掩码语言模型。NSP任务：去判断两个句子的关系。BERT在做预训练时，使用的是大量的无标注的预料（随处可见的文本。因为是没有标签（=无标注）的数据进行训练，所以是。
2023-04-12 14:49:34
71
原创 损失函数、正则化函数、目标函数
损失函数（loss function）就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数，它是一个非负实值函数。eg. 假设存在一个线性分类模型y=wx+b，其中w，b是参数，且训练样本（x，y）给定通过输入x可以计算得到，预测值y’=wx+b。损失s=y-y’=y-wx-b。可知，损失函数是一个关于参数的函数。
2023-04-11 15:50:30
40
原创 Transformer——依赖于注意力机制的神经网络模型
在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素和Source中的所有元素之间。其具体计算过程详见注意力机制讲解，只是计算对象发生了变化而已，所以此处不再赘述其计算过程细节。下图可视化地表示了Self-Attention在同一个英文句子内单词之间地联系。在Self Attention在计算过程中。
2023-04-10 16:12:57
184
原创 Encoder-Decoder框架与注意力机制
我们将Source中的构成元素想象成是由一系列的数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和而Query和Key用来计算对应Value的权重系数。
2023-04-10 15:06:20
27
原创 RNN（循环神经网络）
很明显，一个句子中，前一个单词其实对于当前单词的词性预测是有很大影响的，比如预测苹果的时候，由于前面的吃是一个动词，那么很显然苹果作为名词的概率就会远大于动词的概率，因为动词后面接名词很常见，而动词后面接动词很少见。例如理解一句话的意思，孤立理解每一个词是不够的，我们需要处理这些词连接起来的整个序列。s的值不仅仅取决于这一次的输入x，也取决于上一次隐藏层的值s，因此，U是一个输入层到隐藏层的权重矩阵；x是一个向量，它表示输入层的值；s是一个向量，它表示隐藏层的值；o是一个向量，它表示输出层的值；
2023-04-06 15:35:34
20
原创 神经网络基本构成
神经网络可以当做是能够的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下：详细参考下文（包含基础神经网络结构、各个层的作用等）：https://blog.youkuaiyun.com/illikang/article/details/82019945注1：单层感知机把计算放在了输出层神经元上，因此输出层也是计算层。注2：图16Wxy中，x表示输出层神经元编号，x相同表示为线性代数方程里的同一行（每个输出单元可以理解为方程组里的一行式子）。注3：图25。
2023-04-04 17:57:07
27
原创 损失函数与梯度下降
第一个求导公式是表明方向（指小人延1，2，3哪个方向走），公式算出的梯度方向是最快的方向。每次优化θ，只选取一个样本，所以相比于批量梯度下降的公式，删除了求m个样本loss和的过程。梯度（默认向上）：在损失函数的减小过程中，我们延梯度的反方向优化θ；J(θ)为每个样本误差的平方和除以；下图是用最小二乘法描述损失函数，损失函数是关于模型参数的函数。上小标i表示第i个样本；
2023-04-04 17:56:44
29
原创 c++学习
/向量容器定义 vector < int > :: iterator iter = vec . begin() //向量迭代器的定义与赋值。
2023-04-04 17:48:15
14
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人