- 博客(46)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 我所了解的bert模型整理！！
文章目录BERT是什么语言模型Mask机制BERTBert vs TransformerBert Model InputBert Model OutputBert Masked Language ModelBert Next Sentence PredictionBert with Feature ExtractionBert应用场景Bert-GPT-ELMoELMoEMLo的俩种方式GPTvan...
2020-02-05 14:09:47
795
原创 Transformer
文章目录Self Attention(Transformer)TransformerTransformer整体结构Encoder-Decoder结构self-Attention的计算Q-K-V的计算Attention的计算Multi-Headed-Attention的计算Positional EncodingLayerNorm&ResidualsDecoder结构Decoder中的self...
2020-02-03 22:59:47
774
原创 Seq2Seq Attention
文章目录什么是Attention举个例子：为什么需要Attention?Attention 的3大优点Seq2Seq Attention计算过程什么是AttentionAttention(注意力机制)是一种机制，可以应用到许多不同的模型中，像CNN、RNN、seq2seq等。Attention通过权重给模型赋予了区分辨别的能力，从而抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不...
2020-02-02 17:33:29
655
原创 Seq2Seq
文章目录EmbeddingWord Embedding词向量---One-HotOne-Hot骤如下：One-hot表示文本信息的缺点：EmbeddingEmbedding能够用低维向量对物体进行编码还能保留其含义的特点非常适合深度学习。在传统机器学习模型构建过程中，我们经常使用one hot encoding对离散特征，特别是id类特征进行编码，但由于one hot encoding的维度...
2020-01-29 18:00:10
695
原创 自然语言处理——word2vec
文章目录EmbeddingWord Embedding词向量词向量---One-HotOne-Hot骤如下：One-hot表示文本信息的缺点：词向量---词袋法词袋模型同样有一下缺点：词向量---TF-IDF词向量---主题模型词向量_Word2VecSkip-gram 和 CBOW 的简单情形CBOWSkip-gram优化方法Word2Vec存在的问题词嵌入为何不采用one-hot向量词向量-C...
2020-01-28 13:47:02
1341
原创 深度学习之循环神经网络(RNN)
文章目录什么是循环神经网络RNN的应用RNN网络结构RNN的反向求导Vanilla-RNN什么是循环神经网络循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）它并⾮刚性地记忆...
2020-01-26 10:28:59
1323
原创 深度学习之卷积神经网络(CNN)
文章目录什么是卷积神经网络卷积网络的发展卷积神经网络主要层次结构数据输入层：Input Layer卷积计算层：CONV LayerReLU激励层：ReLU Incentive Layer池化层：Pooling Layer全连接层：FC Layer备注：Batch Normalization Layer（可能有）什么是卷积神经网络卷积神经网络的历史就不多阐述了，它的灵感来源于对生物的视觉系统...
2020-01-21 20:36:21
7892
原创 深度学习之神经网络
文章目录深度学习应用发展神经网络？感知机是什么！深度学习应用发展图像方面：图像识别、手机解锁、物体识别、图片修复、目标检测、医疗影像诊断。自然语言处理：机器创作、个性化推荐、文本分类、翻译、智能音箱、自动纠错、情感分析。数值预测、量化交易神经网络？我们以房价预测的案例来说明一下，把房屋的面积作为神经网络的输入（我们称之为????），通过一个节点（一个小圆圈），最终输出了价格（我们用????表...
2020-01-17 22:46:34
878
原创 数据结构与算法总结整理（超级全的哦！）
数据结构与算法基础大O表示法内存工作原理递归NP完全问题数据结构数组链表混合结构栈队列散列表图集合二叉树算法二分查找选择排序快速排序广度优先狄克斯特拉算法近似算法K最近邻算法策略D&C分而治之贪婪算法动态规划基础大O表示法内存工作原理递归NP完全问题数据结构数组链表混合结构栈队列散列表图集合二叉树算法二分查找选择排序快速排序广度优先狄克斯特拉算法近似算法K最近邻算法策略D&C分而治之贪婪算法动态规划...
2023-02-19 16:17:02
609
原创 安装moviepy后ImageMagick报错问题解决！
目录问题描述下载ImageMagick安装ImageMagick配置ImageMagick测试刚才的文件，正常输出加水印视频示例代码问题描述MoviePy是一个用于视频编辑的 Python 库：剪切、串联、标题插入、视频合成（又名非线性编辑）、视频处理和自定义效果的创建。想基于这个做一个视频分割以及添加水印的demo，但是在安装moviepy后，报错：.This error can be due to the fact that ImageMagick is not installed on
2021-06-06 17:32:33
3339
4
原创 如何在linux中下载离线包
下载安装包到指定文件夹下面文件夹此时是空的下载命令yum install --downloadonly --downloaddir=./firefox_rpm firefox格式为：--downloadonly 表示下载文件，不安装 --downloaddir=（保存文件的路径）这里会自动创建文件夹 firefox 表示要下载火狐浏览器执行后会将依赖包下载到制定文件内(进入刚才的文件夹，里面就是刚下载的firefox安装包以及依赖)cd firefox
2021-03-01 16:59:39
862
原创 linux下面安装以及卸载python
目录安装python以及依赖删除python以及依赖强制删除已安装程序及其关联删除所有残余文件 ，xargs允许你对输出执行其他某些命令验证删除，返回无结果安装python以及依赖删除python以及依赖强制删除已安装程序及其关联 [root@spider1 bin]# rpm -qa|grep python|xargs rpm -ev --allmatches --nodeps删除所有残余文件 ，xargs允许你对输出执行其他某些命令[root@spider1 bin]# whereis p
2021-03-01 11:16:14
176
原创 jupyte默认路径的更换！
目录第一步启动Anaconda运行窗口第二步查找路径第三步修改配置文件第四步修改文件属性最后完美运行jupyter notebook一般默认路径是在C盘，但是实际工作中，更习惯把它设置到D盘工作空间中，这里教大家如何更换默认路径！第一步启动Anaconda运行窗口第二步查找路径第三步修改配置文件第四步修改文件属性最后完美运行jupyter notebook一般默认路径是在C盘，但是实际工作中，更习惯把它设置到D盘工作空间中，这里教大家如何更换默认路径！...
2020-11-04 13:39:03
860
原创 linux系统如何配置JDK
目录第一步 jdk 的下载jdk官网连接第二步上传jdk配置环境变量验证是否配置成功第一步 jdk 的下载这里百度云盘提供的是： jdk-8u161-linux-x64.tar需要其它版本去官网自行下载jdk官网连接第二步上传jdk使用上传工具上传文件到liux，然后在解压出来。我的路径是jdk的路径是：/root/jdk1.8.0_161配置环境变量打开配置文件：vi /etc/profile追加下列语句：export JAVA_HOME=/root/jdk1.8.0_161ex
2020-09-11 11:31:35
176
原创 解决linux下面‘ll’命令无法使用的问题！！！
目录提示信息原因解决方法结果提示信息bash: ll: command not found原因因为 ll 并不是Linux 下一个基本的命令，它实际上是ls -l 的一个别名，默认不支持命令ll ，必须用ls-l；解决方法1.打开配置文件lias ll='ls -l’2.添加如下语句lias ll='ls -l’3.更新配置文件source ~/.bashrc结果好啦，这样就完美解决了 ll 不能用的问题！...
2020-09-10 16:11:56
5422
原创 如何在linux下备份数据库sql文件、恢复sql文件到数据库中！
目录如何在linux下备份mysql数据库的sql文件无需登录数据库如何在linux下恢复mysql数据库的sql文件登录数据库如何在linux下备份mysql数据库的sql文件无需登录数据库前提是你的数据库可以正常访问备份命令：（单个数据库）mysqldump -u root -p xxxxx>/home/xxxxx.sql然后数据你登录数据库的密码就ok啦。xxxxx：为你要备份的数据库名字/home：是你存放备份文件的路径xxxxx.sql：备份文件的名字，后缀名不要错（.sq
2020-07-16 10:44:04
1641
原创 如何在服务器安装mysql，设置远程访问！！！
linux下安装mysql5.7.29下载mysql5.9.27安装包（此处是64位系统的）首先是上传mysql安装包到服务器登录服务器找到刚才上传的mysql文件开始mysql安装首先我们检查是否安装mysql查看是否安装mariadb下载mysql5.9.27安装包（此处是64位系统的）mysql-5.7.29-1.el7.x86_64.rpm-bundle（提取码：0rdf）首先是上传mysql安装包到服务器此步骤略过，如果不明白可以看前面的博客！！！登录服务器找到刚才上传的mysql文件
2020-07-07 17:53:05
1662
原创 解决在jupyter中使用pandas输出excel表时候科学计数的问题！
文章目录to_excel方法定义：常用参数解析我的写入格式如下图：to_excel方法存储函数为pd.DataFrame.to_excel()，注意，必须是DataFrame写入excel, 即Write DataFrame to an excel sheet。其具体参数如下：定义：DataFrame.to_excel(excel_writer, sheet_name='Sheet1', ...
2020-05-08 10:41:27
3392
1
原创 linux如何安装pycharm(社区版)
文章目录社区版linux版的pycharm百度网盘下载(提取码：p4xr)WinSCP上传工具百度云盘下载（提取码：4aqv）使用WinSCP工具将pycharm上传到linux系统中pycharm安装启动pycharm社区版linux版的pycharm百度网盘下载(提取码：p4xr)WinSCP上传工具百度云盘下载（提取码：4aqv）使用WinSCP工具将pycharm上传到linux系统...
2020-04-23 15:27:07
1723
原创 redhat7.5下安装Anconda3环境
文章目录下载linux版本的Anconda包(提取码：ekg5)WinSCP上传工具云盘连接（提取码：4aqv）使用工具将Anconda上传到linux系统中然后进入到刚才上传文件的文件夹安装Anaconda下载linux版本的Anconda包(提取码：ekg5)WinSCP上传工具云盘连接（提取码：4aqv）使用工具将Anconda上传到linux系统中然后进入到刚才上传文件的文件夹...
2020-04-23 14:15:28
579
原创 虚拟机下linux网速慢的问题，解决方法！！！
第一步将虚拟就中的网络设置为桥接模式！！第二步将网卡驱动的大量传送减负 选项关闭，即可使虚拟系统的网速与宿主系统的网速一致
2020-04-22 09:49:47
1847
1
原创 redhat7.5替换yum源(亲测有效)
文章目录查看redhat7.5下原有的yum包如果有强制卸载自带yum包下载RedHat7.5替换yum配置文件云盘连接（提取码：d724）新建一个安装包存放文件夹WinSCP上传工具云盘连接（提取码：4aqv）安装rpm包文件替换原有yum将安装目录下CentOS7-Base.repo复制到/etc/yum.repos.d目录下删除yum.pid文件更新yum文件（这块时间可能会长点）查看是否更...
2020-04-21 17:18:10
715
原创 tf.nn.embedding_lookup()函数的原理
文章目录tf.nn.embedding_lookup()函数简单来说进阶说明实际的例子嵌入的图示高维embedding_lookup例子tf.nn.embedding_lookup()函数这个函数有什么作用？看起来像查找表，也就是返回每个ID对应的参数(以ID为单位)？例如，在Skip-Gram模型中，如果我们使用tf.nn.embedding_lookup(embeddings, tra...
2020-03-07 22:02:02
1418
原创 tf.contrib.layers.embed_sequence()函数
文章目录tf.contrib.layers.embed_sequence()函数例子tf.contrib.layers.embed_sequence()函数一般用于Seq2Seq网络，可完成对输入序列数据的嵌入工作。一般只需给出前三个参数。embed_sequence( ids, # 输入的形状为[batch_size, max_seq_len] vocab_size...
2020-03-07 17:28:07
911
原创 tf.reduce_sum( ) 函数是如何使用的
文章目录tf.reduce_sum( ) 函数用法reduce_sum( ) 是求和函数例子当axis不给定时当axis=0时当axis=1时当keepdims=True时tf.reduce_sum( ) 函数用法def reduce_sum_v1(input_tensor, axis=None, keepdims=No...
2020-03-07 00:35:18
224
原创 tf.sequence_mask()函数
文章目录tf.sequence_mask()函数例子只给定lengths时给定lengths和maxlen时（dtype不给定，默认为bool）定义lengths，maxlen，dtype时tf.sequence_mask()函数sequence_mask( lengths, # 原始序列长度 maxlen=None, # 最大序列长度 dtype=tf.bool, #...
2020-03-07 00:21:04
352
原创 tf.strided_slice()函数的切割原理了解一下
文章目录tf.strided_slice() 用法简单来看这个函数重点在于前四个参数：示例1示例2示例3tf.strided_slice() 用法strided_slice( input_, begin, end, strides=None, begin_mask=0, end_mask=0, ellipsis_mask=0, ...
2020-03-06 23:52:16
399
原创 FastText和cw2vec
文章目录什么是FastTextFastTextFastText与Word2Vec的不同FastText优点：--------------------------------------cw2vec什么是FastText英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog”，但使⽤不同的后缀来改...
2020-01-28 15:34:57
353
原创 梯度下降
文章目录何为梯度？梯度下降的三种方法公式为:批量梯度下降法小批量梯度下降法随机梯度下降法何为梯度？梯度：在数学上，梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。梯度是使得该函数取得最大值的方向，即梯度的方向是函数值增大的方向。梯度下降的三种方法那么梯度下降指的就是梯度的反...
2020-01-13 15:23:50
232
原创 机器学习之HMM算法
文章目录隐马尔可夫！马尔可夫性质马尔可夫链隐马尔可夫模型HMMHMM参数说明隐马尔可夫！将随机变量作为结点，若两个随机变量相关或者不独立，则将二者连接一条边；若给定若干随机变量，则形成一个有向图，即构成一个网络如果该网络是有向无环图，则这个网络称为贝叶斯网络。如果这个图退化成线性链的方式，则得到马尔可夫模型；因为每个结点都是随机变量，将其看成各个时刻(或空间)的相关变化，以随机过程的视角...
2020-01-11 17:14:36
805
原创 机器学习之EM算法
文章目录EM具体的含义是什么？EM具体的含义是什么？EM算法(Expectation Maximization Algorithm, 最大期望算法)是一种迭代类型的算法，是一种在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量。EM算法流程：初始化分布参数/模型参数重复下列两个操作直到收敛：E步骤：估计隐藏变量的概率分布期望函数；M步骤...
2020-01-09 17:51:07
382
原创 七种数据分布图
文章目录均匀分布伯努利分布（离散）二项分布（离散）多项式分布（离散）伽马分布（连续）高斯分布（连续）正态分布（连续）均匀分布如图：代码如下：def uniform(x, a, b): y = [1 / (b - a) if a <= val and val <= b else 0 for val in x] return x, y, np...
2020-01-07 22:38:45
6161
原创 机器学习之贝叶斯
文章目录什么是贝叶斯网络?什么是概率图模型？贝叶斯定理相关公式贝叶斯定理公式朴素贝叶斯算法伯努利朴素贝叶斯多项式朴素贝叶斯贝叶斯网络贝叶斯网络判定条件什么是贝叶斯网络?贝叶斯网络是一系列变量的联合概率分布的图形表示（概率图模型）。把某个研究系统中涉及到的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。一般包含俩个部分，一个贝叶斯网络结构图，这个是一个有向无环图(DAG)...
2020-01-07 22:05:01
286
原创 机器学习之聚类（K-means）
机器学习之K-MEANS目录什么是K-means？目录无论才能知识多么卓著，如果缺乏热情，则无异纸上画饼充饥，无补于事。什么是K-means？
2020-01-06 17:21:46
990
ATEC + CCKS 2018 组合数据集
2021-06-06
v3_to_wav_python.zip
2020-08-11
sentiment_analysis.csv
2020-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人