- 博客(167)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 特征工程总结
转自：http://tech.dianwoda.com/2018/04/23/te-zheng-gong-cheng/背景在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，而且机器学习的书中基本上是已经处理好的数据或者作者自己构造的虚拟的数据。所以在机器学习的实践中，可能会选择使用这些算法，但是常常不知道怎么提取特征来建模。因此，结合网上的资料和项目中的经验试着来总结一下。特征是什么特征是对于分析和解决问题有用、有意义的属性。例如：在表格数据中，表.
2020-06-17 21:54:29
2161
转载 机器学习之特征选择方法
转自：https://www.cnblogs.com/bjwu/p/9103002.html特征选择是一个重要的数据预处理过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后在训练学习器，如下图所示：进行特征选择有两个很重要的原因：避免维数灾难：能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间...
2020-04-30 01:24:59
1800
转载 bert代码
目录pretrained model Sentence (and sentence-pair) classification tasks glue data数据集 运行 pretraining step1. create-pretraining-data step2. run-pretraining pretrain tips and caveats 抽取feat...
2019-11-06 16:19:55
856
转载 小版BERT也能出奇迹：最火的预训练语言库探索小巧之路
转载：https://tech.ifeng.com/c/7pqoBttuWS0选自Medium作者：Victor Sanh机器之心编译参与：魔王过去一段时间，大模型层出不穷。在大家纷纷感叹「大力出奇迹」的时候，作为调用预训练语言模型最流行的库，HuggingFace 尝试用更少的参数量、更少的训练资源实现同等的性能，于是知识蒸馏版 BERT——DistilBERT 应运而...
2019-11-06 16:06:41
493
转载 研究方法 | SCI 必备：3 款强大的英文论文写作神器
转自：https://blog.youkuaiyun.com/Rilke1028/article/details/91799702研究方法 | SCI 必备：3 款强大的英文论文写作神器一提到 SCI 写作，即使是科研大神，也常常会有这样的烦恼：尽管阅文献破万卷，还是逃脱不出 Chinglish 的魔掌。好不容易憋出万字长文，语法却错漏百出。Word 本身自带语句检测的功能，写作的拼写和简单语...
2019-10-11 15:16:01
1984
转载 Latex所有常用数学符号整理
转自：https://blog.youkuaiyun.com/ying_xu/article/details/51240291
2019-09-24 19:21:34
455
转载 警惕！损失Loss为Nan或者超级大的原因
转自：https://oldpan.me/archives/careful-train-loss-nan-inf前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...
2019-07-28 17:28:42
57507
6
转载 tensorflow训练时内存持续增加并占满
记录一次小白的tensorflow学习过程，也为有同样困扰的小白留下点经验。先说我出错和解决的过程。在做风格迁移实验时，使用预加载权重的VGG19网络正向提取中间层结果，结果因为代码不当，在遍历图片提取时内存持续增长，导致提取几十个图片的特征内存就满了。原因是在对每一张图片正向传播结束后，都会在留下中间信息。具体地说是在我将正向传播的代码与模型的代码分离了，在每次遍历图片时都会正向传播，在...
2019-07-26 21:48:24
1610
转载 干货|TensorFlow数据量少的时候却占GPU显存比较多
转自：https://cloud.tencent.com/developer/article/1365920问题背景：最近在做一个文本多分类的项目，来源于实际的需求场景。具体的情况不多说，但是有一点需要说明的是，场景有多个，每个场景下都有自己的数据，这些数据都是短文本数据。不同的是每个场景中含有的数据量不同。一开始我们做的时候是从数据量最大的场景入手，有107万条训练数据，单词有7万多个，...
2019-07-26 21:45:39
648
转载 如何手动释放Python的内存
出处：http://blog.youkuaiyun.com/nirendao/article/details/44426201/在上篇博客中，提到了对一个脚本进行的多次优化。当时以为已经优化得差不多了，但是当测试人员测试时，我才发现，踩到了Python的一个大坑。在上文的优化中，对每500个用户，会进行一些计算并记录结果在磁盘文件中。原本以为这么做，这些结果就在磁盘文件中了，而不会再继续占...
2019-07-26 21:41:42
1192
转载 python内存不释放
转载地址：https://blog.youkuaiyun.com/shaququ/article/details/52100434在maillist里面看到无数次的有人问，python速度为什么这么慢，python内存管理很差。实话说，我前面已经说过了。如果你在意内存/CPU，不要用python，改用C吧。就算C不行，起码也用个go或者java。不过今天还是说说，python的内存为什么不释放。...
2019-07-26 21:26:59
2689
转载 tensorflow 任意 batch size 不溢出显存( OOM )，使用 darknet 的 sub batch 方法
这方法很久之前就想弄了，网上( 百度 )除了 darknet 之外，没人弄这东西，无奈那时对 tf 的 Optimizer 和 梯度计算 理解很浅，没法弄，不久前看了个 tensorflow 的 eager run 的例子才弄懂 tf 的梯度计算方式。原理很简单，例如一个 batch 的 size = 100，直接放进显卡会溢出，那我把这个 batch 再分成 10 个 sub batch，每...
2019-07-25 01:48:12
1157
转载 Tensorflow内存溢出问题
本文总结了Tensorflow内存溢出的各种原因，以及在此排查过程中使用的方法。本文在实现Tensorflow模型的保存(save)和重新调用(restore)过程中，程序总是发生内存溢出而中止的问题，所以对其进行故障排查。排查工具及步骤1. TensorboardTensorboard是Tensorflow提供的向用户展示模型结构以及运行结果等的可视化工具。当Tensorflow相...
2019-07-25 01:41:37
2363
转载 tensorflow引起的内存泄露
计算机配置内存12G，显存4G，运行有10分钟左右就提醒说内存不够用然后退出运行，直觉是程序bug问题终于找到靠谱解决方案：http://cherishlc.iteye.com/blog/2324796这个博客的第二个给了大致的讲解，在给出的附录中：https://stackoverflow.com/documentation/tensorflow/3883/how-to-debug-a...
2019-07-24 16:23:38
863
转载 Pycharm远程运行/调试程序，报错：缺少运行时库【ImportError: libcublas.so.9.0 解决方法】
现象说明本地开发环境Mac Pycharm, 远程服务器CentOS tensorflow/cuDNN/CUDA，现象：ImportError: libcublas.so.9.0: cannot open shared object file关于配置Pycharm远程开发环境这位老兄写的非常详细，链接 > [ 点我 学搭建环境]学完搭建环境就回来，关于解决找不到运行...
2019-07-23 14:36:28
799
转载 Pycharm 远程连接服务器无法显示matplotlib图像的问题
问题及环境描述服务器：Ubuntu 16.04本机：MacOSPycharm版本：Professional 2017.02问题：pycharm远程调试服务器代码，matplotlib图像无法显示。报错内容为: _tkinter.TclError: no display name and no $DISPLAY environment variable参考找了很多解决方法，如设置matp...
2019-07-22 17:43:51
1674
转载 干货！自然语言处理中的自注意力机制！
转自：https://www.sohu.com/a/226543293_642762近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们...
2019-07-17 00:49:39
898
原创 tensorflow改写为pytorch的方法总结
替换方法：1.matrix = tf.get_variable("Matrix", [output_size, input_size], dtype=input_.dtype)=matrix = Variable(torch.randn(output_size, input_size))2.self.D_l2_loss = tf.constant(0.0)= sel...
2019-07-17 00:21:58
17813
7
转载 GAN+文本生成：让文本以假乱真
https://blog.youkuaiyun.com/ycy0706/article/details/80425091
2019-07-10 21:28:32
1944
转载 tensorflow中control_flow_ops.while_loop
转自：https://blog.youkuaiyun.com/appleml/article/details/89643841self.h0 = tf.zeros([self.batch_size, self.hidden_dim])self.h0 = tf.stack([self.h0, self.h0]) ## 相当于 h0和C0 # generator on initial randomn...
2019-07-02 19:16:30
235
1
原创 返回最大值的index pytorch
返回最大值的indeximport torcha=torch.tensor([[.1,.2,.3], [1.1,1.2,1.3], [2.1,2.2,2.3], [3.1,3.2,3.3]])print(a.argmax(dim=1))print(a.argmax())输出：...
2019-07-01 20:58:34
19979
转载 tensorflow中control_flow_ops.while_loop
self.h0 = tf.zeros([self.batch_size, self.hidden_dim])self.h0 = tf.stack([self.h0, self.h0]) ## 相当于 h0和C0 # generator on initial randomness gen_o = tensor_array_ops.TensorArray(dtype=tf.float32...
2019-06-26 21:49:51
259
原创 在anaconda下创建虚拟环境python
1创建环境，此时我需要装一个2.7的pythonconda create -n 'fuck' python=2.72.激活2.7的虚拟环境：source activate fuck3.查看当前环境conda info -e
2019-06-24 16:42:26
626
原创 自动转python2到3的工具2to3.py使用
查到的资料：https://www.cnblogs.com/jiangzhaowei/p/8206191.html这里介绍一个python3自带的脚本2to3.py，可以将python2的程序自动转为python3的形式，节省了很多修改细节的时间。这个脚本在Python安装目录下Toolsscripts文件夹下，如果是利用anaconda3安装的python3，就在anaconda3/Tool...
2019-06-24 16:19:40
2067
原创 远程服务器时出现bash: line 0: cd: F:/LeakGAN-master/Image COCO: No such file or directory
今天遇到这个问题：bash: line 0: cd: F:/LeakGAN-master/Image COCO: No such file or directory我明明已经对照配置过程走了一遍，但发现代码用的是本地的路径（F:/LeakGAN-master/Image COCO:），而不是服务器的路径，然后发现这里的解决方法，和我目前的情况一样，也是在之前已经有一个代码连接到这个编译器......
2019-06-24 15:21:21
2986
转载 GAN大盘点，聊聊这些年的生成对抗网络 : LSGAN, WGAN, CGAN, infoGAN, EBGAN, BEGAN, VAE
转自：http://nooverfit.com/wp/%E7%8B%AC%E5%AE%B6%EF%BD%9Cgan%E5%A4%A7%E7%9B%98%E7%82%B9%EF%BC%8C%E8%81%8A%E8%81%8A%E8%BF%99%E4%BA%9B%E5%B9%B4%E7%9A%84%E7%94%9F%E6%88%90%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9...
2019-06-23 19:04:50
2426
转载 SeqGAN模型原理和代码解析
1、背景GAN作为生成模型的一种新型训练方法，通过discriminative model来指导generative model的训练，并在真实数据中取得了很好的效果。尽管如此，当目标是一个待生成的非连续性序列时，该方法就会表现出其局限性。非连续性序列生成，比如说文本生成，为什么单纯的使用GAN没有取得很好的效果呢？主要的屏障有两点：1）在GAN中，Generator是通过随机抽样作为开始，...
2019-06-23 16:53:35
11976
20
转载 SeqGAN解读
SeqGAN的概念来自AAAI 2017的SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient一文。Motivation如题所示，这篇文章的核心思想是将GAN与强化学习的Policy Gradient算法结合到一起——这也正是D2IA-GAN在处理Generator的优化时使用的技巧。而该论文的出发点也是意识到...
2019-06-23 16:01:21
2127
原创 《hierarchically-structured variational autoencoders for long text generation》论文阅读
摘要：变异自动编码器 (VAEs) 作为文本生成端向体系结构最近备受关注。现有方法主要侧重于合成相对较短的句子(少于20个单词)。在本文中,我们提出了一个新的框架,分层结构变异自动编码器(hier-VAE),用于生成长而连贯的文本单元。为了提高模型的超前能力,将中间句表示引入生成网络,以指导字级预测。为了缓解与文本 VAE 相关的典型优化挑战,我们进一步在编码器和解码器网络之间采用了随机...
2019-06-21 11:22:22
489
原创 《SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks》论文笔记
自己的总结：这篇文章主要是写了一个用多分类器和多个生成器生成带情感的文本的gan模型，结果最后的实验不是生成器的个数还是设为2，相当于并没有比之前的工作多了类型，另外和17年那篇icml的文章一样，这篇也是令训练数据文本小于15个单词，也是短文本生成，回头我在看看它的代码咋写的。自己的笔记：转自：https://www.itcodem...
2019-06-17 21:16:52
1057
转载 Dataset之IMDB影评数据集：IMDB影评数据集的简介、下载、使用方法之详细攻略
Dataset之IMDB影评数据集：IMDB影评数据集的简介、下载、使用方法之详细攻略IMDB影评数据集的简介标签数据集包含5万条IMDB影评，专门用于情绪分析。评论的情绪是二元的，这意味着IMDB评级< 5导致情绪得分为0，而评级>=7的情绪得分为1。没有哪部电影的评论超过30条。标有training set的2.5万篇影评不包括与2.5万篇影评测试集相同的...
2019-06-16 15:29:59
2458
转载 seq2seq以及attention模型的pytorch实现(以机器翻译为例)
转自：https://blog.youkuaiyun.com/u014514939/article/details/89410425前言本系列教程为pytorch官网文档翻译。本文对应官网地址:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html系列教程总目录传送门：我是一个传送门本系列教程\对应的 ...
2019-06-12 23:12:50
1632
原创 在服务器使用jupyter notebook的方法及问题解决
启动1.安装好jupyter notebook2.启动jupyter notebook：在服务器端输入：jupyter notebook，出现下面这个界面说明成功启动了3.接下来会在自己的电脑上弹出一个页面问题我在打开一个ipynb文件时log出现下面的报错查了一下网上说是这个问题：但我发现我根本没有/home/lrt/.local/sh...
2019-06-12 19:49:21
2550
原创 《Toward Unsupervised Text Content Manipulation》论文笔记
贡献：1.这篇文章主要是提出了一个新的任务：和文本迁移任务，复写任务不同，文本迁移是修改一个特定句子的文章风格属性不修改文章的内容，而我们的任务是修改特定句子的内容而不修改风格2.提出了这个任务相应的数据集3.提出了这个任务的无监督模型总结这篇文章不难，主要就是构建一个篮球比赛的数据集，构建一个结构化数据x,以及这个x对应的原始语句y-aux；以及找到一个和x相似但不同的参...
2019-06-12 00:35:47
469
转载 论文笔记《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》
论文《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》CopyNet 是在 Seq2Seq + Attention 的基础上，引入了拷贝机制，对某些任务会有所擅长。模型结构如下图实现上有关键两点（即图中右边的上下两个矩形框），Prediction with Copying and Generat...
2019-06-11 23:41:54
290
转载 强化学习中的REINFORCE策略函数
转自：https://blog.youkuaiyun.com/Pony017/article/details/81146374从REINFORCE到PPO，看Policy Gradient的前世今生Policy Gradient和Q-learning可以说是model-free RL的两大阵营。前者是off-line、on-policy的方法，后者是on-line、off-policy的方法。前者是策...
2019-06-09 23:56:03
3855
转载 逆向强化学习
摘录自：https://blog.youkuaiyun.com/philthinker/article/details/79778271概述我们先介绍下逆向强化学习的概念预分类：什么是逆向强化学习呢？当完成复杂的任务时，强化学习的回报函数很难指定，我们希望有一种方法找到一种高效可靠的回报函数，这种方法就是逆向强化学习。我们假设专家在完成某项任务时，其决策往往是最优的或接近最优的，当所有的策略产生的累积...
2019-06-09 14:31:00
6109
转载 注意力机制（Attention Mechanism）在自然语言处理中的应用
转自：https://www.cnblogs.com/robert-dlut/p/5952032.html近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的神经网络在自然语言处理（NLP）领域的论文，现在来对attention在NLP中的应...
2019-06-08 19:12:32
452
转载 《Effective Approaches to Attention-based Neural Machine Translation》论文笔记
本文主要用于记录发表于2015年的一篇神作（引用量上千）。该论文将注意力机制在机器翻译的领域进行了升级，而本笔记意在方便初学者快速入门，以及自我回顾。论文链接：http://aclweb.org/anthology/D15-1166基本目录如下：摘要 核心思想 总结------------------第一菇 - 摘要------------------1.1 论文摘要近年...
2019-06-08 19:00:42
359
转载 《Long Text Generation via Adversarial Training with Leaked Information》阅读笔记
转自：https://bigquant.com/community/t/topic/121098论文链接：Long Text Generation via Adversarial Training with Leaked Information 1代码链接：https://github.com/CR-Gjx/LeakGAN 2来源：AAAI2018解决问题：自动生成连贯的和语义上有...
2019-06-08 18:29:53
1913
1
产品评论情感分类代码-python
2018-08-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人