- 博客(24)
- 收藏
- 关注
RSS订阅原创 pip 安装一些问题：cannot import name ‘Feature‘ from ‘setuptools‘ //python setup.py egg_info//openssl升级安装
问题：ImportError: cannot import name ‘Feature’ from ‘setuptools’解决：pip install --upgrade pip setuptools==45.2.0
2021-07-23 14:05:57
505
原创 windows10安装docker Desktop 可制作镜像
Linux上安装docker比较简单，只需直接安装docker软件即可。docker可运行在Linux和虚拟化环境中，对于windows系统怎么安装呢？一、hyper-v开启；（开启虚拟化）Wsl更新至最新版本（当发现开启后仍无法正常使用时）二、安装 docker Desktop查看安装是否完成：三、制作镜像在docker hub上搜索需要的镜像，查看下载的命令ducker pull centos7安装gccyum -y install gcc gcc-c++ kernel-d
2021-06-24 09:26:40
2090
原创 PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning
PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning开放域中文闲聊论文：https://arxiv.org/abs/2006.16779Git：代码先mark ,实战后再来说
2021-06-24 09:11:58
314
原创 解决服务器上中文显示乱码问题
1、当服务器上编写或显示中文文件名称出现乱码时。需要配置 /etc/profile永久修改：echo "export LANG=“zh_CN.UTF-8” >> /etc/proflileecho "export LC_CTYPE=“zh_CN.UTF-8” >> /etc/proflilesource /etc/profile2、字符集相关locale 查看...
2021-06-09 09:55:14
3613
转载 源码编译安装 configure ；make ；make install
配置（configure）、编译（make）、安装( make install ).这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤一、基本信息1、./configure 是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。2、make 是用来编译的，它从Makefile中读取指令，然后编译。3、make install是用来安装的，它也从Makefile中读取指令，安装到指定的位置。注意：AUTO
2021-03-01 10:21:26
1557
原创 挂载镜像，安装rpm包
1、下载（获取）iso镜像，找到iso并上传到suse服务器2、要先新建一个目录挂载的目录，用命令 mkdir /mnt/iso3、将iso文件mount到该目录上，命令如下：mount -o loop SLES-11-SP2-DVD-x86_64-GM-DVD1.iso /mnt/iso4、增加zypper安装源,命令如下:zypper addrepo /mnt/iso/ suse11.iso5、执行命令：zypper refresh 刷新生效，ISO被识别为yast源
2021-02-24 10:57:56
1431
原创 2021-01-11
python 学习1、cast 调整数值类型代码tf.cast( ) 或者K.cast( ) 是执行 tensorflow 中的张量数据类型转换，比如读入的图片是int8类型的，一定要在训练的时候把图片的数据格式转换为float32.这样就能够将其转换成 0 或 1 的序列，进行one-hot encoding。例子：源码：def cast(typ, val):· · """Cast a value to a type.· · · This returns the
2021-01-11 16:58:39
150
原创 GPT
GPT是“Generative Pre-Training”的简称，是指的生成式的预训练。GPT采用两阶段过程，第一个阶段是利用语言模型进行预训练，第二阶段通过Fine-tuning的模式解决下游任务。下图展示了GPT的预训练过程。GPT l论文代码 https://github.com/openai/finetune-transformer-lmGPT-2https://d4mucfpksywv.cloudfront.net/better-language-models/language-model
2020-08-06 23:38:47
749
原创 NQG传统算法（非预训练算法）-- copy机制
1、COPY 机制：源自论文 ：Incorporating Copying Mechanism in Sequence-to-Sequence Learning 论文首次提出copynet的思路，同时结合了generative和copy两种方式，对OOV词采用直接copy的方式。2、Pointing Unknown WordCaglar Gulcehre, Yoshua Bengio, ACL 2016本篇提出了pointer softmax的机制，为了解决copy or generate 和 w
2020-08-06 23:27:27
1208
原创 GAN总述
1、总述论文：A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications生成器和判别器两个任务博弈互相训练，互相促进。后续补充内容。
2020-08-06 23:13:55
286
1
原创 bert预训练模型将天赋带到生成模型领域
1、SimBERTgit权重，它是以Google开源的BERT模型为基础，基于微软的UniLM思想设计了融检索与生成于一体的任务，来进一步微调后得到的模型，所以它同时具备相似问生成和相似句检索能力。不过当时除了放出一个权重文件和示例脚本之外，未对模型原理和训练过程做进一步说明。在这篇文章里，我们来补充这部分内容。2、UniLM 论文UniLM是一个融合NLU和NLG能力的Transformer模型，由微软在去年5月份提出来的.详情见苏神的博客 https://kexue.fm/archives/74
2020-08-06 23:07:07
432
原创 问题生成03——2019-Improving Question Generation With to the Point Context
要点：识别与答案相关的上下文，并转化为疑问句。难点：如何有效地利用非结构化的文本句子（informativeness）和结构化的与答案相关的关系（faithfulness）中的信息。亮点：作者发现模型可以根据文本中的一个答案生成多个不同类型的问题；关系抽取，根据与答案 关系的不同 可以提问多个问题；与之前的有区别（one-to-one mapping problem）还未详细看论文，放一个别人的笔记先笔记...
2020-07-27 14:49:36
330
原创 问题生成系列学习-2020_Improving Question Generation with Sentence-level Semantic Matching and Answer Positio
问题生成系列学习（2）:2020_Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferringlink :https://arxiv.org/pdf/1912.00879.pdf背景：序列-序列模型将答案及其上下文作为输入，在问题生成方面取得了长足的进展。问题：然而，我们观察到这些方法经常产生错误的问题词或关键词，并从输入中复制与答案无关的词。分析：我们认为，
2020-06-16 16:33:35
690
原创 问题生成论文（question generation）-2020
2020_Toward Subgraph Guided Knowledge Graph Question Generation with Graph Neural Networks2020_Asking Questions the Human Way Scalable Question-Answer Generation from Text Corpus2020_Improving Question Generation with Sentence-level Semantic Matching
2020-06-16 09:48:02
1136
原创 fastnlp / fastHan实践：中文自然语言处理工具
fastHan是基于fastNLP与pytorch实现的中文自然语言处理工具，像spacy一样调用方便。git源地址pip install fastHan==1.2https://github.com/fastnlp/fastHanfastHan需要以下依赖的包：torch>=1.0.0fastNLP>=0.5.0安装成功。实验：...
2020-06-15 23:17:55
1975
原创 问题生成（question-generation）论文汇总
1、综述：Recent Advances in Neural Question Generation-2019地址2、其他论文：任务为输入段落和答案，输出生成问题主要处理了在问题生成（Question Generation，QG）中，长文本（多为段落）在seq2seq模型中表现不佳的问题。长文本在生成高质量问题方面不可或缺。问题：在问题生成（Question Generation，QG）中，长文本（多为段落）在seq2seq模型中表现不佳。段落和答案编码 双向RNN来进行encode，针对文章级的
2020-05-30 23:20:28
4359
3
原创 机器阅读理解综述：2019—Neural Machine Reading Comprehension_Methods and Trends
机器阅读理解综述：2019—Neural Machine Reading Comprehension_Methods and Trends1、主要内容此论文对机器阅读理解的任务分类、数据集和主要模型做了分析。任务：定义：分类：1.1Cloze Tests 完形填空2.2 Multiple Choice 单项选择2.3 Span Extraction 区间抽取2.4 Free Answering 自由形式一些示例：A few examples of MRC datasets该数据
2020-05-30 23:05:59
1472
原创 excel快速按照函数补充10000行数据ID
需要在10000行数据中补充ID序号，手动数据不显示，查找对应快捷键，补充下。1、写函数如： 鼠标停留在A2上，输入=ROW(A2)-1回车。2、选定需要填充的区域左侧 A2：A10000回车。3、执行函数Ctrl + D...
2020-05-15 09:18:34
1731
原创 windows下安装centos、Python、tensorflow、pandlepandle
今天需要做一个实验，验证数据集效果，梳理下自己电脑上安装虚拟机，以及环境配置的笔记。1、下载VMware2、下载centos7一路安装就行。设置用户和密码。3、查看IPIfconfig查看ip，即为此服务器的ip.我这里是：192.168.154.128.4、安装xftp,实现本地与虚拟机之间的文件拷贝；连接是输入 ip 账户密码。5、安装pipyum update -y ...
2020-04-01 18:08:59
393
1
原创 数据集研究1——Dureader全文翻译
1、特点简介从用户搜索日志中分析得到。每中问题判定分为属于两类 中的哪一类：事实类，观点类。关于实体问题，答案应为单个实体或实体列表。描述问题的答案通常是多句总结。说明问题包含如何/为什么问题，比较两个或多个对象的比较问题以及询问商品优缺点的问题，等等。对于是否问题，答案应为肯定的或否定的支持证据。在对样本问题进行深入分析之后，我们发现，无论期望的答案类型是什么，一个问题都可以进一步分...
2020-03-25 22:48:20
1364
原创 FTP与SFTP的差别初学
FTP与SFTP的差别最近在服务器之间传输文件的时候出现文件传输过程中文件不同的现象。由于两服务器之间不通，不能直接scp传输，需要用xftp把文件从A服务器拉取到本地，再由本地传输到B服务器上。往下来去后发现两个文件大小出现不同，文件MD5sum不同。比较困惑是什么原因。试了文件权限，查看了存储空间大小，均没问题。最后修改了一下传输方式，由ftp改为sftp,问题解决。对其原理不清楚，在此学习...
2020-03-08 11:22:30
321
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人