- 博客(27)
- 收藏
- 关注
RSS订阅原创 机器学习基本概念
让机器具备找函数的能力。带有未知参数的函数x：feature，b、w未知参数loss也是一个函数，输入变为b、w损失：一组值的好坏。表达式MAE与MSE取均值这只是一个概述。
2024-04-19 13:25:53
403
1
原创 优化算法与深度学习
优化算法使我们能够继续更新模型参数，并使损失函数的值最小化。一旦我们有了损失函数，我们就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的目标函数。优化算法的目标函数通常是基于训练数据集的损失函数，因此优化的目标是减少训练误差。而深度学习的目标是减少泛化误差。简单地说，如果对于任何a, b ∈ X，连接a和b的线段也位于X中，则向量空间中的一个集合X是凸的。给定一个凸集X，如果对于所有x, x′ ∈ X和所有λ ∈ [0, 1]，函数f : X → R是凸的。目标函数通常是训练数据
2024-04-12 11:01:33
418
原创 BERT预训练
而GPT是任务无关的，但是从左到右编码上下文。BERTEncoder的前向推断给出了输入文本的每个词元和插入的特殊标记“”及“”的BERT表示。当输入为文本对时，BERT输入序列是“”、第一个文本序列的标记、“”、第二个文本序列标记、以及“”的连结。当输入为单个文本时，BERT输入序列是特殊类别词元“”、文本序列的标记、以及特殊分隔词元“”的连结。• 对于上下文敏感的词表示，如ELMo和GPT，词的表示依赖于它们的上下文。• BERT输入序列的嵌入是词元嵌入、片段嵌入和位置嵌入的和。的方式预测掩蔽词元。
2024-04-10 17:50:49
671
原创 Transformer
有b句话，每句话有len个词，每个词由d个特征表示，BN是对所有句子所有词的某一特征做归一化，LN是对某一句话的所有词所有特征做归一化。• Transformer模型中基于位置的前馈网络使用同一个多层感知机，作用是对所有序列位置的表示进行转。• Transformer是编码器－解码器架构的一个实践，尽管在实际情况中编码器或解码器可以单独使用。在计算编码器的自注意力时，查询、键和值都来自前一个编码器层的输出。也是由多个相同的层叠加而成的，并且层中使用了残差连接和层规范化。在编码器－解码器注意力中，
2024-04-10 16:06:29
480
原创 注意力机制
在自注意力中，查询、键和值都来自同一组输入。卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。为了使用序列的顺序信息，可以通过在输入表示中添加位置编码，来注入绝对的或相对的位置信息。
2024-04-10 11:25:49
773
原创 序列到序列学习（seq2seq）
具体地说，给定标签序列A、B、C、D、E、F 和预测序列A、B、B、C、D，我们有p1 = 4/5、p2 = 3/4、p3 = 1/3和p4 = 0。另外，用pn表示n元语法的精确度，它是两个数量的比值：第一个是预测序列与标签序列中匹配的n元语法的数量，第二个是预测序列中n元语法的数量的比率。其中lenlabel表示标签序列中的词元数和 lenpred表示预测序列中的词元数，k是用于匹配的最长的n元语法。• BLEU是一种常用的评估方法，它通过测量预测序列和标签序列之间的n元语法的匹配度来评估预测。
2024-04-09 16:01:57
319
原创 编码器-解码器架构
• “编码器－解码器”架构可以将长度可变的序列作为输入和输出，因此适用于机器翻译等序列转换问题。• 编码器将长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。• 解码器将具有固定形状的编码状态映射为长度可变的序列。
2024-04-09 15:01:46
549
原创 双向循环神经网络
根据可获得的信息量，我们可以用不同的词填空，如“很高兴”（“happy”）、“不”（“not”）和“非常”（“very”）。很明显，每个短语的“下文”传达了重要信息（如果有的话），而这些信息关乎到选择哪个词来填空，所以无法利用这一点的序列模型将在相关任务上表现不佳。我们考虑以下三个在文本序列中填空的任务。• 我___饿了，我可以吃半头猪。
2024-04-09 14:41:41
244
原创 深度循环神经网络
• 有许多不同风格的深度循环神经网络，如长短期记忆网络、门控循环单元、或经典循环神经网络。• 总体而言，深度循环神经网络需要大量的调参（如学习率和修剪）来确保合适的收敛，模型的初始化也。• 在深度循环神经网络中，隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。我们可以将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生了一个灵活的机制。模型在深度学习框架的高级API中都有涵盖。
2024-04-09 11:48:06
260
原创 门控循环单元（GRU）
重置门打开时，门控循环单元包含基本循环神经网络；更新门打开时，门控循环单元可以跳过子序列。门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。重置门有助于捕获序列中的短期依赖关系。更新门有助于捕获序列中的长期依赖关系。
2024-04-09 10:48:49
314
原创 蓝桥杯算法训练 集合运算
前言给出两个整数集合A、B，求出他们的交集、并集以及B在A中的余集。提示：以下是本篇文章正文内容，下面案例可供参考代码如下（示例）：#include<cstdio>#include<set>using namespace std;set<int> A;set<int> B;set<int> j;set<int> b;set<int> y;int main(){ int n,m; sc
2021-02-19 18:15:30
407
原创 蓝桥杯 基础练习 回形取数
前言回形取数就是沿矩阵的边取数，若当前方向上无数可取或已经取过，则左转90度。一开始位于矩阵左上角，方向向下。提示：以下是本篇文章正文内容，下面案例可供参考代码如下（示例）：#include<cstdio>#include<algorithm>#include<vector>using namespace std;vector<int> v;int main(){ int j, x, m, n, a[205][205]; bool
2021-02-06 11:45:23
324
原创 C++获取字符串出现的次数
获取一个字符串在另一个字符串中出现的次数。比如：获取“ ab”在“abkkcadkabkebfkabkskab” 中出现的次数。#include<iostream>#include<string>using namespace std;//得到次数的函数int getCount(string mainStr,string subStr){ //确定主串，子串长度 int i=mainStr.length(),j=subStr.length(); if(i&g
2020-09-25 22:32:53
6690
2
原创 C++字符串指定部分进行翻转
将字符串中指定部分进行反转。比如“abcdefg”反转为”abfedcg”#include<iostream>#include<string>using namespace std;string reverse(string str,int start,int end){ if(str!="") { for(int i=start,j=end;i<j;i++,j--) { char temp=str[i]; str[i]=str[j];
2020-09-23 21:07:05
1492
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人