随记
关注
分享
扫一扫
codebrid
公众号：NLP_codebrid | NLP笔记屋
展开
-
三种rouge测评方法
1. 坑爹的rouge安装2. rouge4chinese（不用安装，拿来直接用，中文）https://github.com/hpzhao/nlp-metrics/tree/master/ROUGE4Chinese3. sumeval（安装很简单，安完直接用，英文）https://github.com/chakki-works/sumeval我的使用过程：1）安装：pip ...原创 2020-01-30 18:20:39 · 3356 阅读 · 2 评论 -
torchtext.data 的 Field, RawField
今天试图更改open-nmt代码时，在preprocess阶段发现一处代码： fields = inputters.get_fields( opt.data_type, src_nfeats, tgt_nfeats, dynamic_dict=opt.dynamic_dict, src_truncate=...原创 2020-01-07 17:02:34 · 3502 阅读 · 0 评论 -
Open-NMT 使用笔记
官网：https://opennmt.net是什么：是一个开源NMT工具OpenNMTis an open source ecosystem for neural machine translation and neural sequence learning.来源：由哈佛NLP组推出，诞生于2016年年末，主版本基于Torch, 默认语言是LuaGitHub：https://...原创 2019-12-23 10:27:40 · 6626 阅读 · 1 评论 -
`pip install -e .` vs`python setup.py install`
https://www.jb51.cc/python/241778.html原创 2019-12-20 17:04:42 · 1597 阅读 · 0 评论 -
tensorflow dataset到底有哪些数据集
首先来看一下，tensorflow dataset都集成了哪些数据集>>> import tensorflow_datasets as tfds>>> print(tfds.list_builders())['bair_robot_pushing_small', 'cats_vs_dogs', 'celeb_a', 'celeb_a_hq', 'cif...原创 2019-12-12 18:00:55 · 2025 阅读 · 0 评论 -
一次GAN项目背景下的tensorflow_datasets中mnist数据集的下载笔记
起因：帮我可爱的妹子跑一个GAN的代码（已有，github），这回是在我自己实验室的服务器上（到了展现我男友力的时候了！激动！）我的背景：第一次 | 正式使用tensorflow | 要开始排坑了 | 我爱Pytorch | 用之前碎碎念项目地址：https://github.com/google/compare_gan（很基础的一个GAN代码，谷歌大佬发布的）项目论文：https:/...原创 2019-12-12 17:36:52 · 1946 阅读 · 1 评论 -
GitHub使用笔记
Github是什么：这个星球上最流行的开源托管服务如何建立自己的GitHub仓库？1. 打开官网，并注册自己的帐号（官网：https://github.com/）2. new一个新仓库此时你的电脑已经复制了这段信息3. 在保证你的电脑已经安装了git的情况下，从git Bash(Windows)或iTerm(Mac)进入你想上传的文件夹的上一级目录里，输...原创 2019-12-03 09:13:34 · 372 阅读 · 0 评论 -
【error】anaconda下的No module named 'torch'
问题起因：在根目录下python；import torch；未报错，表示pytorch可用 而进入虚拟环境目录python；import torch；报错如下：Traceback (most recent call last): File "<stdin>", line 1, in <module>ImportError: No module name...原创 2018-05-23 13:42:15 · 47174 阅读 · 3 评论 -
2017年outstanding paper的chunk-basedpaper记录
文字来源 http://www.sohu.com/a/158316468_473283CVPR是近十年来计算机视觉领域全球最有影响力、内容最全面的顶级学术会议，由全球最大的非营利性专业技术学会IEEE（电气和电子工程师协会）主办。ACL是计算机语言学和自然语言处理领域最高级别国际学术年会，会议涵盖生物医学、认知建模与心理语言学、交互式对话系统、机器翻译等各个领域。Chunk-Based Bi-Sc...原创 2018-05-31 10:29:57 · 475 阅读 · 0 评论 -
linux 运行后台程序的几种命令
https://blog.youkuaiyun.com/fuming0210sc/article/details/78678568三种 : & , nohup , tmux ,其中 tmux 最优雅，可以保存上次的工作流 。nohup 可以 记录发生日志。http://bbs.javaee.cc/post/263031_1_1.html五种 :nohup/&/disown/screen/Tm...转载 2018-06-07 12:58:41 · 2262 阅读 · 0 评论 -
【error】AttributeError: cannot assign module before Module.__init__() call
【error】在初始化函数调用前不能分配模块原因:调用了自定义的类，但是 在自定义的类的__init__函数下面没有写super( XXX, self ).__init__() class XXX( nn.Module ): def __init__(self, 等等): super( XXX, self ).__init__() ...原创 2018-07-11 14:47:02 · 24649 阅读 · 9 评论 -
【error】RuntimeError: multi-target not supported at /pytorch/torch/lib/THCUNN/generic/ClassNLLCriteri
错误：RuntimeError: multi-target not supported at /pytorch/torch/lib/THCUNN/generic/ClassNLLCriterion.cu错误反馈： File "/users4/zsun/pytorch/paper_image_caption/sz-spatial5-chunk/model_msoft_gh.py", line 21...原创 2018-07-12 16:31:17 · 17991 阅读 · 1 评论 -
sublime3+python代码追踪函数插件安装
sublime3+python代码追踪函数插件安装参考网址：http://blog.youkuaiyun.com/M1mory/article/details/72582661https://www.cnblogs.com/honkly/p/6599642.html 安装步骤：1.打开Package Control[Preferences>>Package Control]...原创 2018-01-09 15:56:32 · 4359 阅读 · 0 评论 -
MURA数据集--医疗影像--斯坦福
几个链接：=====stanford ML group 官网 https://stanfordmlgroup.github.io/ 【里面有很多数据集（MURA用于骨x射线异常检测、Countdown Regression、CheXNet胸部x光诊断放射性肺炎、Palliative Care缓和医疗资源、Education检测书写错误并提供反馈、Arrhythmia心电图信号检测心律失...原创 2018-08-06 21:10:27 · 6837 阅读 · 1 评论 -
image saliency detection 是什么
image saliency detection 译为 图像显著性检测什么是显著性检测（saliency detection）：====什么是显著性（Statistical significance）：别称：统计显著性。总的来说，它表示群体之间得以相互区别的能力。显著性的含义是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响。我们假定控制了可能影响两个群体之间...原创 2018-08-07 10:55:19 · 4117 阅读 · 0 评论 -
IU X-Ray 数据集
1）数据集来源：https://iuhealth.org/find-medical-services/x-rays（IU，The Indiana University Health，不直接提供数据集）数据集简介：The Indiana University Chest XRay Collection (IU X-Ray) is a set of chest x-ray images pai...原创 2018-08-27 14:47:01 · 7392 阅读 · 2 评论 -
Curriculum Learning
从一篇论文学习“课程学习”，着重关注Curriculum Learning，在此简单记录相关内容。 论文题目：Curriculum Learning for Natural Answer Generation（中科院自动化所）论文地址：https://www.ijcai.org/proceedings/2018/0587.pdf 一、简介参考链接：https://www.soh...原创 2018-09-05 22:29:32 · 4135 阅读 · 0 评论 -
ValueError: not enough values to unpack (expected 2, got 1)
ValueError: not enough values to unpack (expected 2, got 1)原创 2017-12-13 11:08:11 · 13371 阅读 · 0 评论 -
re.sub()和re.match()
w = 'lllcooooc'1.>>> p = re.compile( r'c(.+)c' )>>> re.sub(p,'',w)'lll'>>> matchObj = re.match( p, line)None3.>>> p = re.compile( r'(.+)c(.+)c' )&...原创 2018-11-21 20:42:21 · 590 阅读 · 0 评论 -
【概念】端口转发和端口映射
以下为整理各个相关网址所得（仅有概念，不含配置方法）1.端口转发：可以新建监听地址和端口予以指定，而端口映射：只能一对一。2.端口映射：比如你发布了一个网站（假设你买了公网ip和域名），http方式访问，但是想了下觉得不好，在路由器上把80端口映射成8080，别人访问时候就加上端口8080，流量过路由器再转成80送到服务器。端口转发：类似代理服务器，把收到数据包转发到目的服务器...原创 2018-11-02 20:55:14 · 1801 阅读 · 1 评论 -
哈工大【LTP】
哈工大【LTP】LTPLTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的中文语言处理模块，以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口、可视化工具，并且能够以网络服务（Web Service）的形式进行使用。（LTP-server）开源代码：https://github.com/HIT-SCIR/ltp在线文档...转载 2018-10-27 16:17:23 · 717 阅读 · 0 评论 -
django的使用注意事项
1. django的安装http://www.runoob.com/django/django-install.html2. django创建第一个项目（数据与视图混合在一起）2.1. 建立项目之后，修改 urls.py 文件；新建一个 view.py 文件;修改setting文件把其中的ALLOWED_HOSTS=[]改成ALLOWED_HOSTS=['*'] ##* 表示任意地址...原创 2018-10-25 12:54:22 · 232 阅读 · 0 评论 -
NCRF序列标注开源工具使用
github地址：https://github.com/jiesutd/NCRFpp一、网页翻译NCRF++: An Open-source Neural Sequence Labeling ToolkitNCRF++:一个开源的神经序列标注工具包Sequence labeling模型在许多NLP任务中都很流行，如命名实体识别(NER)、词性标注(POS)和分词。最先进的序列标注模...原创 2018-09-25 11:13:40 · 7686 阅读 · 16 评论 -
汉字转拼音（同音异形）-工具
1. 在线工具：http://www.txttool.com/WenBen_ChineseToPinYin.asp2. python工具包：汉字转拼音：from pypinyin import ...https://ctolib.com/mozillazg-python-pinyin.html拼音转汉字：from Pinyin2Hanzi import...https://...转载 2018-09-25 22:10:30 · 2151 阅读 · 0 评论 -
什么是Faster-R-CNN（Fast R-CNN与R-CNN）
提出这一概念的论文：《Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks》Faster-R-CNN是CV-Object detection领域下的。（目标检测=多图像识别+多物体定位）CV-Object detection的相关学习可以参考https://zhuanlan.zhihu....转载 2018-09-17 19:23:20 · 4248 阅读 · 0 评论 -
【error】raise NotImplementedError
错误：Traceback (most recent call last):。 File "main.py", line 103, in train for batch_i, (images, labels) in enumerate(train_loader, start=1): File "/u。。/anaconda2/lib/python2.7/site-packag原创 2018-04-05 21:00:15 · 3405 阅读 · 0 评论 -
简单的解释batch normalization
文字来源于https://www.zhihu.com/question/38102762作者：Xf Mao链接：https://www.zhihu.com/question/38102762/answer/131113368来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。搬运一下我在csdn上的博客，关于google那篇Batch Normalization论文的理解...转载 2018-04-03 14:23:57 · 342 阅读 · 0 评论 -
MSCOCO数据集下载安装---image_caption
-下载安装MSCOCO2015的image_caption数据集，下载方式【linux】具体步骤：1.$ git clone https://github.com/pdollar/coco.git2.$ mkdir images$ mkdir annotations3.根据需求在http://cocodataset.org/#download下载需要的，unzip解压放在以上目录里...原创 2018-02-25 14:25:55 · 20711 阅读 · 2 评论 -
【error】 argument 1: <class 'TypeError'>: Don't know how to convert parameter 1
今天出现了很奇怪的错误：Traceback (most recent call last): File "main_batch.py", line 175, in <module> main(my_args) File "main_batch.py", line 102, in main seq2seq = seq2seq.cuda() File "...原创 2018-01-08 10:19:19 · 7040 阅读 · 0 评论 -
【error】ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found (required by
报错信息：ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found(required by anaconda3/lib/python3.6/site-packages/scipy/sparse/_sparsetools.cpython-36m-x86_64-linux-gnu.so)报错位置：Tra...原创 2018-01-05 13:03:24 · 23926 阅读 · 14 评论 -
【error】Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X
报错信息：Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X as an argument.错误行数：softmax = F.softmax(enout_att.squeeze(2)) 回想:错误发生在我更新了pytorch版本0.1更新到0.3，...原创 2018-01-04 13:13:32 · 14662 阅读 · 2 评论 -
pip在anaconda环境下指定安装路径的安装问题
错误起因：pip安装torchtext==0.1.1完成后，发现安装路径为.local/lib/python3.6/site-packages，但是我的程序需要使用python2.7。一次改正：指定pip安装路径重新安装$ pip install --user --install-option="-prefix=./.local/lib/python2.7" torchtext==0.原创 2018-01-04 15:24:08 · 16044 阅读 · 1 评论 -
【error】UnicodeDecodeError: 'utf-8' codec can't decode byte 0x88 in position 6382: invalid start byte
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x88 in position 6382: invalid start byte 原因是我写了以下代码把一下代码注释掉# try:# reload(sys) #p2# except NameError:# import importlib #p3...原创 2017-12-19 13:40:10 · 1874 阅读 · 0 评论 -
python调用perl脚本
此问题理解为python调用子程序查找可用函数为subprocess参考链接：http://www.jb51.net/article/48086.htm其中check_out使子程序的标准输出从程序返回原创 2017-12-19 14:00:29 · 5869 阅读 · 0 评论 -
【error】RuntimeError: tried to construct a tensor from a nested int sequence, but found an item
报错信息：RuntimeError: tried to construct a tensor from a nested int sequence, but found an item of type float at index (0, 0, 0)我的出错代码是：in_words_ = Variable(torch.LongTensor(in_words).view(batch_size,...原创 2017-12-10 19:09:25 · 1439 阅读 · 0 评论 -
计科-面试问题（1）
1.windows的exe为什么不能在linux下运行通常情况下，任何基于WINDOWS的程序都不能在LINUX下运行，这是因为它们的内核是不同的。由于系统基础环境完全不同。windows的.exe执行文件是无法在linux上运行的。同样的软件如果要从windows向linux上运行的化,必须进行程序的移植。1.windows的exe如何在linux下运行安装wine，它可以模拟一部原创 2017-08-27 10:29:09 · 846 阅读 · 0 评论 -
如何使用robots.txt及其详解
转载至http://www.cnblogs.com/yuzhongwusan/archive/2008/12/06/1348969.html在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该原创 2017-08-27 10:28:17 · 368 阅读 · 0 评论 -
【error】非root用户解决/usr/bin/ld: cannot find -lxx缺失库函数安装
错误前提：安装caffe, make时报错，是依赖项的问题。一. 出现/usr/bin/ld: cannot find -lxxx错误的三种原因1 系统没有安装相对应的lib2 相对应的lib版本不对3 lib(.so档)的symbolic link 不正确，没有连结到正确的函式库文件(.so)（参考http://blog.sina.com.cn/s/blog_4156950c010...原创 2018-02-04 11:21:33 · 4537 阅读 · 0 评论 -
【error】Segmentation fault (core dumped)
在安装caffe时make, make all, make runtest, make pycaffe均成功完成但是在make pytest时出现错误 Segmentation fault (core dumped) 如下[zs@gpu09 caffe]$ make pycaffe make: Nothing to be done for `pycaffe'. [zs@gpu09 ca...原创 2018-02-05 17:44:03 · 3270 阅读 · 1 评论 -
【error】invalid argument 1: must be strictly positive at /pytorch/torch/lib/TH/generic/THTenso
ERROR：RuntimeError: invalid argument 1: must be strictly positive at /pytorch/torch/lib/TH/generic/THTensorMath.c:2184具体： File "main.py", line 152, in test for batch_idx, (image, captions, len...原创 2018-03-25 10:19:47 · 3589 阅读 · 6 评论