- 博客(66)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 论文笔记之《Pre-trained Language Model for Web-scale Retrieval in Baidu Search》
预训练语言模型在百度搜索中的应用
2022-08-02 17:10:31
1443
原创 Layer/Batch/Instance Normalization
总览图中N表示batch，C表示CV中的通道(NLP中的序列长度、时间步)，如果是图像则【H,W】表示每个通道下二维像素矩阵的高和宽，NLP中就只有一维特征向量。Batch Norm依赖Batch，对【Batch, H, W】三个维度做标准化；Layer Norm不依赖Batch，对【C，H，W】三个维度做标准化。Instance Norm既不受Batch也不受其它通道的影响，只对【H，W】两个维度做标准化。三种标准化的表示式形式都相同，其区别在于xxx的表示不同，其公式如下：y=x−E[x]Var
2020-12-15 11:28:29
568
原创 《Neural Collaborative Filtering》论文阅读笔记
本文的创新在于，使用神经网络框架来代替MF中的内积，将MF和MLP的线性以及非线性特点相结合，使用预训练参数来初始化模型，进一步提升模型性能。本文思路清晰，逻辑严谨，细节说明很到位，实验对比完整且比较有说服力，很值得学习。因此我将笔记整理出来分享一下，如果有不对的地方，多多包涵，尽请批评指出。目录摘要引言本文的贡献矩阵分解的限制神经协同过滤框架NCF优化方法通用矩阵分解多层感知机(MLP)通用矩阵分解和多层感知机的融合（NeuMF）预训练实验数据评价指标对比算法实验设置实验结果原论文开源代码地址结果复现
2020-08-11 20:36:34
985
原创 使用PyTorch微调ALBERT中文预训练模型
OverviewALBERT简介Embedding因式分解层间参数共享句子间关联损失ALBERT系列&Bert比较transformers简介tf模型转torch模型torch实现微调ALBERT参考文献ALBERT简介 通常情况下，增加预训练模型大小会带来效果的提升；然而，当模型大小达到一定的程度之后，就很难再进行了，因为受到了GPU内存和训练时间的限制。为了减小模型参数和模型训练时间，ALBERT提出了两种解决方法。ALBERT也是采用和Bert一样的Transformer的Encod
2020-07-05 21:29:53
8712
3
原创 Numpy&Matplotlib笔记
numpy随机数np.random.rand(10, 10) // 创建指定形状(示例e为10行10列)的数组(范围在0-1之间)np.random.uniform(0, 100) // 创建指定范围内的一个数np.random.randint(0, 100) // 创建指定范围内的一个整数np.random.n...
2020-03-30 19:59:02
246
原创 win10 NVIDIA GeForce GTX 950M安装tensorflow_gpu_1.9.0、torch_1.1.0和paddlepaddle1.5.1
迫于计算需求，最近将笔记本上的GPU也利用了起来。CUDA+CuDNN+TensorFlow部分参考了博文，感谢博主让我少走了很多弯路。Torch部分尝试了多种方法未果，最后凭借经验完成了torch1.1.0和torchvision0.4.1的安装。硬件配置显卡：NVIDIA GeForce GTX 950MPython：3.6.2CUDA：9.0 -> cuda_9.0.17...
2020-03-22 09:40:01
1589
原创 Keras-backend&weights&layer&loss&output-笔记
本篇博文旨在保存笔记，以便日后查阅，如有不当之处，敬请指出！backendKeras 是一个模型级库，为开发深度学习模型提供了高层次的构建模块。它不处理诸如张量乘积和卷积等低级操作。而我们常常在自定义损失函数或者评价指标时需要对张量进行一些操作，此时就需要借助keras的后端接口调用，实现像tensorflow里面的那些张量操作。本文以tensorflow作为后端为例。首先，导入keras的...
2020-03-20 20:07:07
601
原创 2019-CCF-BDCI-金融信息负面及主体判定-top1赛后分享
前言今年CCF-BDCI共有13道算法赛，其中涵盖了数据挖掘、自然语言处理、计算机视觉、数据库等多个方向；今年乘此机会参加了两个赛题，除了这个赛题还有另一个赛题【乘用车细分市场销量预测】，方案分享点此处。本赛题队友之前也分享过，传送门。本次比赛团队介绍赛题分析算法设计方案总结...
2020-02-28 21:34:20
4390
原创 2019-CCF-BDCI-乘用车细分市场销量预测-top3赛后分享
写在前面，2019BDCI已经落幕数月，之前队友已做过分享，但我想这毕竟是我竞赛生涯为数不多的高光时刻，并且在今年BDCI竞赛中倾注了大量心血(比赛周期持续了三个月)，再者很久没有写过博客了。好事多磨，从一开始担心进不了top到比赛中期霸榜之后对比赛的倦怠，再到复赛的跌跌撞撞、一路坎坷，没想到最终有幸取得top3，实属不易。感谢队友的永不言弃，也感谢比赛群中各位大佬的技术分享，也感谢曾经奋力拼搏...
2020-02-28 12:37:06
3631
转载 Transformer & Bert
Transformer和Bert前沿TransformerTransformer 模型结构图Transformer的编码器解码器输入层位置向量Bert (Bidirectional Encoder Representations from Transformers)Bert总体框架Bert输入任务定制model参考文章前沿 谷歌在2017年发表了一篇论文名字教Attention Is All...
2019-05-30 21:56:53
1595
原创 注意力机制 Attention
注意力机制前沿注意力认知神经学中的注意力人工神经网络中的注意力机制Bi-LSTM + Attention + tensorflow参考文献前沿智慧的艺术是知道该忽视什么。 — 威廉·詹姆斯 根据通用近似定理，前馈网络和循环网络都有很强的能力。但由于优化算法和计算能力的限制，在实践中很难达到通用近似的能力。特别是在处理复杂任务时，比如需要处理大量的输入信息或者复杂的计算流程时，...
2019-05-28 21:01:13
2046
原创 循环神经网络 & Text-RNN & RCNN
RNN series前沿循环神经网络简单循环神经网络参数学习循环神经网络中的梯度计算方式随时间反向传播算法实时循环学习算法长期依赖问题改进方案基于门控的循环神经网络长短期记忆网络(LSTM)门控循环单元网络(GRU)堆叠循环神经网络双向循环神经网络递归神经网络Text-RNNkeras 实现Text-RNNRCNNkeras实现RCNN参考文献前沿经验是智慧之父，记忆是智慧之母。 ...
2019-05-26 10:46:50
3223
原创 CNN到Text-CNN
CNN系列卷积神经网络卷积卷积层池化层（汇聚层）常用网络结构LeNet-5Inception 网络其它卷积方式转置卷积空洞卷积Text-CNN参考文献卷积神经网络 卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权重共享等特性的深层前馈神经网络。卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在...
2019-05-24 17:53:38
333
翻译 fastText 文本分类
fastText文本分类什么是文本分类？安装使用fastText参考文献文本分类 文本分类是许多应用程序的核心问题，如垃圾邮件检测，情绪分析或智能回复。 在本教程中，我们将介绍如何使用fastText工具构建文本分类器。什么是文本分类？ 文本分类的目标是将文档（例如电子邮件，帖子，文本消息，产品评论等）分配给一个或多个类别。 这些类别可以是评论分数，垃圾邮件vs. 非垃圾邮件或输入文档...
2019-05-22 21:59:53
555
原创 神经网络基础
神经网络基础前言前馈神经网络输入层隐藏层输出层隐藏单元激活函数感知器多层MLP链式法则实现反向传播激活函数Sigmoid 型函数Logistic 函数Tanh 函数修正线性单元带参数的ReLU神经网络正则化L1正则化和L2正则化Early StopDropout数据增强优化器参数初始化策略自适应学习率算法小批量梯度下降学习率衰减AdaGradRMSPropAdamBatch Normalizati...
2019-05-22 19:47:21
1082
转载 2018达观杯 - word2vec
什么是word2vec？word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。单词的向量化表示所谓的word vecto...
2019-04-09 21:11:31
455
原创 二叉排序树和平衡二叉树
二叉排序树什么是二叉排序树？二叉排序树又称二叉查找树二叉排序树（Binary Sort Tree）或者是一棵空树；或者是具有下列性质的二叉树；（1）若它的左子树不空，则左子树上所有节点的值均小于它的根结点的值；（2）若它的右子树不空，则右子树上所有结点的值均大于它的根结点的值；（3）它的左、右子树也分别为二叉排序树。中序遍历二叉排序树可得到一个关键字的有序序列。平衡二叉树平衡二叉树（B...
2019-03-14 22:58:26
3591
原创 最小生成树
序言假设要在n个城市之间建立一个通信联络网，则联通 n 个城市只需要 n-1 条线路。这时，自然会考虑这样一个问题，如何在最节省经费的前提下建立这个通信网。在每两个城市之间都可以设置一条线路，相应的都要付出一定的经济代价。n 个城市之间，最多可能设置 n(n - 1) / 2 条线路，那么，如何在这些可能的线路中选择 n - 1 条，以使总的耗费最少呢？这个问题就是构造连通网的最小代价生成树（M...
2019-03-14 22:10:52
605
原创 图的遍历
序言和树的遍历类似，在此，我们希望从图中某一顶点出发访遍图中其余顶点，且使每一个顶点仅被访问一次。这一过程就叫做图的遍历（Traversing Graph）。通常有两条遍历图的路径：深度优先搜索和广度优先搜索。他们对无向图和有向图都适用。深度优先搜索深度优先搜索（Depth First Search）遍历类似于树的先根遍历，是树的先根遍历，是树的先根遍历的推广。假设初始状态是图中所有顶点...
2019-03-14 09:24:12
403
原创 书摘
《To Kill a Mocking Bird》优秀的人的标准：根据自己的见识尽力而为。勇敢是：当你还未开始就已知道自己会输，可你依然要去做，而且无论如何都要把它坚持到底。除非你穿上一个人的鞋子，像他一样走来走去，否则你永远无法真正了解一个人。一个不成熟男子的标志是他愿意为某种事业英勇地死去，一个成熟男子的标志是他愿意为某种事业卑贱地活着。但是人不是为失败而生的。一个人可以被毁灭，却不...
2019-03-05 09:19:19
683
原创 人脸识别小应用
人脸识别小项目系统功能要求输入一张人脸图片后识别出是具体某个人，验证集评价指标采用准确率。人脸库简介ORL人脸数据库共有40个不同年龄、不同性别和不同种族的对象，每个对象10副灰度图像，共计400副灰度图像，图像尺寸是92*112像素。人脸部分表情有变化，如笑与不笑、眼睛睁与不睁、眼镜戴与不戴等，是目前使用最为广泛的标准数据库。Yale 人脸数据库共有15个人，每人11副，...
2019-01-22 10:31:13
540
原创 tensorflow 保存/加载模型
错误来源最近在使用PyQt5做界面的时候，用Pycharm运行程序的时候遇到了这个错误Process finished with exit code -1073740791 (0xC0000409)上网查找解决方法
2019-01-17 17:09:50
10723
原创 Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.dll. + matplotlib + numpy
近期使用matplotlib画图时遇到一个困扰我几天的问题Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.dll.不知道大家在画图时有没有遇到这个问题，其实之前我用plot、scatter、pie、bar等函数画一些常规图的时候是没有问题的，最近看到一篇【Top 50 matplotlib Visualizations – The ...
2018-12-28 17:49:53
895
原创 This is an "meaningless" article
保持专注，坚持初衷，爱我所爱。Cheer up, i will always stay with you.笃定！证明自己！2019 考研加油！致所有为了梦想而坚持的同行们。
2018-10-09 12:11:44
188
转载 python collections.Counter()
collections.Counter类 Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似。1 创建下面的代码说明了Counter类创建的四种方法：>>...
2018-08-11 09:48:26
250
原创 networkx 笔记汇总
参考教程资料https://networkx.github.io/documentation/stable/tutorial.htmlhttps://www.cnblogs.com/kaituorensheng/p/5423131.htmlhttp://www.cnblogs.com/huiyang865/p/5677449.htmlhttp://blog.sciencenet.cn/...
2018-08-01 21:09:10
2890
原创 删除pandas.DataFrame 中包含NaN的行或列
创建DataFrame样例数据>>> import pandas as pd>>> import numpy as np>>> data = pd.DataFrame({'a': [1, 2, 4, np.nan,7, 9], 'b': ['a', 'b', np.nan, np.nan, 'd', 'e'], 'c': [np.nan...
2018-07-20 00:50:28
71420
2
转载 GBDT vs XGBoost vs LightGBM
sklearn集成方法bagging 基本思想常见变体(按照样本采样方式的不同划分) sklearn-bagging学习器参数sklearn-forests of randomized trees 学习器调参方法特征选择随机森林与KNNboosting 基本思想sklearn-AdaBoostsklearn-GBRT 概述优缺点学习器正则化可解释性V...
2018-07-10 11:35:40
745
原创 特征选择 python实践
下面介绍两种之前竞赛使用到的特征选择方案方案一流程图 以上方法使用方差、卡方检验、决策树模型输出特征重要性方法综合起来进行特征选择，该方案在马上AI全球挑战赛中发挥了比较大的作用。该链接是我们的解决方案，开源是一种精神，仅供大家共同学习交流。python代码实现#coding=utf-8import numpy as npimport pandas as...
2018-06-15 10:03:07
4122
17
原创 Linux 查看进程状态
前言 该文章将介绍l两种命令，一种是查看当前进程，另一种是动态查看当前进程。ps 命令 将某个时间点的程序运作情况撷取下来.参数：-A ：所有的 process 均显示出来，与 -e 具有同样的效用；-a ：不与 terminal 有关的所有 process ；-u ：有效使用者 (effective user) 相关的 process ；-x ：通常与 a 这...
2018-05-11 09:21:25
1049
原创 python实现one-hot编码
''' one-hot编码 '''from sklearn.preprocessing import OneHotEncoder from sklearn.preprocessing import LabelEncoderfrom sklearn.preprocessing import LabelBinarizerfrom sklearn.preprocessing import Mul...
2018-04-16 23:33:37
7510
2
原创 pandas常用数据预处理方法
数据样式python代码df = pd.read_csv('../dataset/ai_risk_train/train_auth_info.csv', low_memory=False)# print(df)'''查看数据的基本信息'''print(df.info())'''整个数据的整体的分布'''print(df.describe())'''查看数据集的空值，或者说是缺失值'''pri
2018-04-10 12:52:55
1933
原创 提取排序特征（python实现）
Series.rank()obj = pd.Series([7, -5, 7, 4, 2, 0, 4])print(type(obj.rank()))print(obj.rank())print (obj.rank(method = 'first',ascending=False))print (obj.rank(method = 'max',ascending=False))print
2018-04-07 17:48:21
1737
原创 求两个pandas.Series的交/并集
名称 功能 intersection 交集 union 并集代码演示>>> import pandas as pd>>> s1 = pd.Series([4,5,6,20,42])>>> s2 = pd.Series([1,2,3,5,42])# 求交集 #>>> pd.Series(list(set(s1).intersection(set(s2))))0 42
2018-04-01 16:28:43
15241
1
转载 python 数据相关性可视化
话不多说直接上代码import matplotlib.pyplot as pltimport seaborn as snsdata = test_feature.corr() #test_feature => pandas.DataFrame#sns.heatmap(data)plt.show()效果图顺带分享一篇机器学习实践相案例...
2018-03-24 16:16:29
8924
1
转载 python检测端口是否被侦听
Python检查端口是否被监听关于socket.connect_ex和socket.connect, 前者是返回状态值而不是抛出异常. 适合这种判断可连接的情景. Like connect(address), but return an error indicator instead of raising an exception for errors returned by the C-lev
2018-03-11 20:35:28
5586
原创 javascript修改css属性
使用obj.style.cssTest来修改嵌入式的cssfunction changeStyle2() { var obj = document.getElementById("btnB"); obj.style.cssText = "background-color:black; display:block;color:White;}使用更改外联的css文件，从而改变元素的css<l
2018-03-05 17:05:04
318
windows cp.exe
2017-10-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人