- 博客(23)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 Tensorflow/Pytorch及python数据处理中问题及解决汇总（持续更新中）
博主在使用tensorflow进行深度学习编程的时候经常会遇到一些常见的问题，特此在这里将自己遇到的问题与解决方法进行汇总。1、tensor张量维度扩展（试图把shape为[64,10]的张量扩展为[64,128,10]的张量）n = tf.expand_dims(m,axis=1) #m为shape为[64,10]的tensor#经过tf.expand_dims扩展后的shape为[...
2019-05-22 20:07:37
1721
原创 BERT微调做中文文本分类
BERT模型在NLP各项任务中大杀四方，那么我们如何使用这一利器来为我们日常的NLP任务来服务呢？我们首先介绍使用BERT做文本分类任务。重写读取数据的类需要根据文件格式重写读取数据的类，只要能够正常读取数据即可class StatutesProcessor(DataProcessor): def _read_txt_(self, data_dir, x_file_name, y_...
2019-11-14 11:06:51
2840
原创 文本分类任务中几种attention机制的介绍
文本分类任务的一大核心就是获得文本的准确语义表示，笔者之前在文本分类任务中只是简单地调用LSTM或GRU来获得文本的词向量表示。在阅读论文和github项目时，会发现顶会论文在获得文本的语义向量时会使用Attention机制。下面，博主就介绍几种文本分类任务中在获得文本语义向量表示的过程中Attention机制的运用（后续随着论文的阅读会不断更新）。adversarialLSTM的attenti...
2019-07-20 21:08:28
5083
原创 Encoder-Decoder两大Attention机制解释
前面的博客，博主主要集中在讲解文本分类方面，后续会多写一点序列生成以及智能问答方面的博客，供大家交流。今天博主主要来介绍Seq2Seq模型中的比较著名的两大attention机制：Bahdanau 和 Luong。Seq2seq在介绍Attention机制之前，首先简单地介绍下Seq2Seq的模型框架。Seq2Seq可以解决文本序列生成的任务：机器翻译和自动摘要生成等。Seq2Seq由Enco...
2019-07-13 21:34:01
3045
原创 基于文本的对话情绪识别模型介绍一（HiGRU）
基于文本的对话情绪识别模型介绍一（HiGRU）在最近学习和实习中，主要解决的是语音情绪识别的问题。有关语音情绪识别的研究，国外普遍采用异构数据融合的方式来识别情绪，常见的有V(video),A(audio),T(text)三类数据。比较权威的数据集之一是IEMOCAP，包括了音频、视频与音频的转义文本。在此，作者介绍的是NAACL 2019的一篇文章，论文下载地址为https://arxiv.o...
2019-07-04 12:04:22
7059
8
原创 Variable rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel already exists问题解决方法
问题出现背景：博主在同一个tf.name_scope(name)下同时处理音频和文本的序列特征时，使用两次tf.nn.dynamic_rnn（）函数时出现该错误：ValueError: Variable rnn/multi_rnn_cell/cell_0/basic_lstm_cell/kernel already exists, disallowed. Did you mean to set...
2019-05-08 11:07:49
3986
7
原创 python在cmd命令行出现ModuleNotFoundError解决方法
笔者近日在cmd命令行执行程序时总是报ModuleNotFoundError的错误。笔者的python项目文件夹架构如下笔者在run_classifier.py文件中导入了modeling.py、optimization.py和tokenization.py中的类，导入代码段如下：from BERTlearning.BertTextClassification.modeling ...
2019-02-19 10:24:31
9667
4
原创 使用BERT获取中文词向量
BERT其中的一个重要作用是可以生成词向量，它可以解决word2vec中无法解决的一词多义问题。然而BERT获取词向量的门槛要比word2vec要高得多。笔者在这里介绍一下如何获取BERT的词向量。笔者在获取BERT词向量的时候用到了肖涵博士的bert-as-service，具体使用方式如下。环境要求：python版本>=3.5,tensorflow版本>=1.10（笔者使...
2019-02-18 13:55:16
45497
61
原创 tf.nn.bidirectional_dynamic_rnn()函数详解
最近在做一些文本分类问题过程中，频繁使用Bilstm，对于tf.nn.bidirectional_dynamic_rnn()函数使用较多，笔者在之前介绍过tf.nn.dynamic_rnn()函数，在此基础上，参考https://blog.youkuaiyun.com/wuzqChom/article/details/75453327和https://blog.youkuaiyun.com/taolusi/article...
2019-01-12 17:32:37
7377
2
原创 TextCNN的简单理解及其conv1d实现
近期在使用深度学习做文本分类的任务的时候了解到了TextCNN算法，之前一直使用较多的是LSTM。TextCNN 是利用卷积神经网络对文本进行分类的算法，由 Yoon Kim 在2014年的 “Convolutional Neural Networks for Sentence Classification” 文章中提出. 1.举个小例子，如下图简而言之，TextCNN的主要作用就是通...
2018-12-31 14:06:38
3017
原创 百度云语言处理技术基础端口调用
作者在学习自然语言处理过程中，经常会涉及到对语句进行分词、命名实体识别、训练词向量模型。可是因为语料库比较旧且有限，使用的模型可能存在缺陷等，往往使得得到的结果不是很好。在师兄的介绍下，接触到百度云会提供一些自然语言处理的接口，辅助你完成一些基本的任务。本文就以百度云提供的词法分析接口为例，介绍一下百度云端口是如何调用的。该端口提供分词、词性标注、命名实体识别三大功能，支撑自然语言的准确理解。...
2018-10-31 22:11:33
778
原创 Tencent_AILab_ChineseEmbedding使用
腾讯AI Lab近日宣布开源大规模、高质量的中文词向量数据集，该数据包含800万中文词汇。此次公布的中文词向量数据在覆盖率、新鲜度和准确性上有大幅提高，具体的训练及方法在这里不在赘述。下载地址为https://ai.tencent.com/ailab/nlp/embedding.html，压缩包为6.3G，解压后有15.5G中文词向量保存在txt文件中，第一行为词汇的总数和词向量维度。...
2018-10-25 15:43:05
10437
1
原创 唐宇迪Seq2Seq代码+注释（tensorflow1.2版本）
首先感谢唐宇迪课程https://edu.youkuaiyun.com/course/detail/3921/68734?auto_start=1序列生成首先要做好数据预处理，第一步是要将文本数据转化为数值数据，可以使用word2vec训练词向量模型。在与以往文本分类需要文本长度保持一致不同，seq2seq只需要一个bach_size内的dequence_length保持一致，其他可以不一致。接着写enc...
2018-10-16 14:35:32
1685
27
原创 LSTM情感分析
相关npy文件见https://pan.baidu.com/s/1SctPmfFlq6ilY2bxcXHIFA。代码及注释如下，亲测有效。import tensorflow as tfimport numpy as npfrom random import randintimport timeimport refrom os import listdirfrom os.path ...
2018-09-13 20:54:14
2036
1
原创 LSTM中tf.nn.dynamic_rnn处理过程详解
在唐宇迪之tensorflow学习笔记项目实战（LSTM情感分析）一文中，链接地址如下https://blog.youkuaiyun.com/liushao123456789/article/details/78991581。对于tf.nn.dynamic_rnn处理过程的代码如下，但是每一步缺少细致的解释，本博客旨在帮助小伙伴们详细了解每一的步骤以及为什么要这样做。lstmCell = tf.cont...
2018-09-11 21:20:59
18991
2
原创 Anconda3使用gensim训练中文维基百科语料库
首先需要下载中文语料，下载地址为：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2下载完中文语料后，需要将XML文件转化为TEXT文件，用python3.x版本可能会出现bytes与str的问题，笔者用以下代码亲测有效# -*- coding:utf-8 -*-# Autho...
2018-07-31 15:16:51
1009
原创 基于gensim包的潜在语义索引（LSI） 模型的相似度查询
首先下载mycorpus.txt文件，地址：https://radimrehurek.com/gensim/mycorpus.txt引入必须的函数from gensim import corpora, similarities,modelsfrom pprint import pprint接着生成词库并保存#停用词表，本次使用的txt文件只有9个文档，比较小。当文档数目多时可...
2018-07-24 20:11:20
925
原创 Matplotlib做基本图
Matplotlib做基本图的编码。import randomimport matplotlib.pyplot as pltimport matplotlib as mplfrom matplotlib import styleimport csvimport numpy as npimport matplotlib.mlab as mlabfrom mpl_toolkits.bas...
2018-07-13 17:01:33
622
原创 分治算法求解列表中第k小的数
分治算法地思想就是将复杂问题分解为简单的子问题，然后寻求子问题的地归结，并组合各个子问题的解一起得到最终复杂问题的解。针对求解列表中第k小的数，暴力拆解法可以将列表排序然后根据索引求出列表中第k小的数，显然这种算法的时间复杂度较大，下面介绍一下分治算法求列表中第k小的数，时间复杂度为O（n）.Blum对于这个问题的解法就是通过找到一个被称为支点的数来对输入序列划分。支点左边的数都比支点数小，支点右...
2018-06-24 10:46:09
3029
2
原创 ”'tensorboard' 不是内部或外部命令，也不是可运行的程序 或批处理文件”解决方法
'tensorboard' 不是内部或外部命令，也不是可运行的程序 或批处理文件。这个时候先检查有没有安装tensorboard，笔者使用的是Anconda3，可以在Scripts文件下查找有没有tensorboard.exe文件，如果存在的话那就是没有配置tensorboard环境变量配置环境变量步骤如下，先找到tensorboard的文件路径然后添加到系统变量如笔者的tensorboard文件...
2018-06-21 15:14:18
39038
11
原创 python实现多层前馈神经网络（手写体识别）
前馈神经网络的图例及推导过程见https://blog.youkuaiyun.com/u010089444/article/details/52555567，接下来我们用python语言实现多层前馈神经网络。本例使用的是MINST数据集，由输入层,两个隐藏层,输出层. MNIST数据集中图片的大小为28*28,即每张图片可用一个28*28=784的向量表示.网络输入层的维度是784, 第一层隐藏层包含625个...
2018-06-20 16:11:59
4429
1
原创 python求解最大子序列和（连续不连续）
首先分治算法求解不连续的最大子序列分治算法步骤:1.将问题分解为若干简单的子问题2.通过递归寻求各个子问题的解3.合并各个子问题的解，从而得到原始问题的解首先对于求解连续最大子序列问题而言，将序列划分为左、右两部分，连续最大序列和的分布有三种情况。第一种：存在于左边序列第二种：存在右边序列第三种：跨界的序列首先先定义比较三个数大小的函数，其次再写寻找最大子序列和的函数，在函数中求解左右两边最大子序...
2018-06-13 19:36:14
2918
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人