- 博客(73)
- 收藏
- 关注
RSS订阅
原创 知识图谱brat标注工具的用法
本人需要做实体抽取、关系抽取和关系抽取，使用brat来对数据进行标注。具体操作如下：1、下载brat-v1.3。下载链接为http://brat.nlplab.org/index.html，2、安装。解压文件，进入文件夹brat-v1.3_Crunchy_Frog中，操作./install.sh -u，输入用户名、密码以及邮箱就完成了对brat的安装。更复杂更详细的安装过程参考http://b...
2019-08-14 15:35:41
14710
12
原创 神经网络中BP算法的推导
神经网络BP算法的推导有关BP算法推导的文章数不胜数，但是好多只讲到了单样本的BP算法的推导，有些虽然讲到了多样本的BP算法的推导，但是没讲清楚甚至是讲错了的都有一些。1. 单样本BP算法推导关于单样本BP算法的推导，我以两层神经网络为例，即整个神经网络包含输入层、隐含层（一层）、输出层。如下其中a[0]的计算如下假定layer_1和layer_2的激活函数都是sigmoid函数，假设...
2019-04-13 10:39:11
1013
原创 等式约束优化与不等式约束优化
在学习SVM的原理时，接触到了等式约束优化与不等式约束优化，下面是根据相关资料自己总结出来的自己的，希望对大家有所帮助，这是第一篇博客。1.等式约束优化1.1.问题描述当目标函数加上等式约束条件之后，原本的非约束优化变成了等式约束优化，如下： ........................................................................
2019-01-12 22:18:30
7609
原创 windows上pip安装paddlenlp报错
1. pip安装paddlenlp报错在windows上pip安装paddlenlp报错，如下： distutils.errors.DistutilsError: Command '['C:\\Users\\yuanyangping\\.conda\\envs\\yyp_paddle\\python.exe', '-m', 'pip', '--disable-pip-version-check', 'wheel', '--no-deps', '-w', 'C:\\Users\\YUANYA~1\\App
2021-09-16 14:02:56
2480
原创 安装python版本的annoy
安装python版本的annoy1.pip安装，失败使用pip install annoy来安装python版本的annoy，但是报错如下WARNING: Discarding http://mirrors.aliyun.com/pypi/packages/a1/5b/1c22129f608b3f438713b91cd880dc681d747a860afe3e8e0af86e921942/annoy-1.17.0.tar.gz#sha256=9891e264041d1dcf3af42f67fbb16c
2021-09-09 19:48:10
1374
3
原创 《Rethinking Boundaries: End-To-End Recognition of Discontinous Mentions with Pointer Networks》读后感
《Rethinking Boundaries: End-To-End Recognition of Discontinous Mentions with Pointer Networks》1. 导论2. 模型架构2.1 方法概述2.2 模型整体架构2.2.1 Input Representation和Transformer Representation2.2.2 原始的Pointer机制2.2.3 memory-augmented的Pointer机制3. Teacher Forcing and Dynami
2021-07-15 20:01:30
519
原创 import cv2报错 libGL.so.1
执行下面命令:import cv2报错如下: import cv2 File "/appletree/miniconda3/envs/yyp_pytorch/lib/python3.7/site-packages/cv2/__init__.py", line 5, in <module> from .cv2 import *ImportError: libGL.so.1: cannot open shared object file: No such file or
2021-06-15 13:55:02
2024
1
原创 ‘str‘ object has no attribute ‘decode‘
'str' object has no attribute 'decode'解决办法使用keras进行load_weights时，报错如下：File"/home/liqiang/anaconda3/envs/tensorflow1.8/lib/python3.6/site-packages/keras/engine/saving.py", line 1004, in load_weights_from_hdf5_group original_keras_version = f.attrs['ke
2021-02-21 16:21:17
544
原创 BERT所占内存的计算
@苹果树数据科技有限公司-AI部BERT所占内存的计算以BERT-base为例，占用110million的参数，数据格式为半精度浮点型（FP16），则占用内存的计算如下：1B=8字节FP16表示16字节则总共内存占用为：110*10^6*16 / 8 = 0.22*10^9换算成GB：0.22*10^9 / (1024^3) = 0.205GB ...
2021-02-10 22:32:21
3375
原创 《Leverage Lexical Knowledge for Chinese Named Entity Recognition via》解读
论文地址与代码地址代码地址论文地址Abstract词汇边界信息的缺失是高性能NER的主要障碍之一，幸运的是，能够自动地构建包含词汇边界信息和词汇语义信息的词汇。然而，融合中文NER的词汇信息面临了挑战，因为自匹配的词汇和最近的上下文词汇，作者提出了Collborative Graph Network来解决这个挑战。实验结果显示：在多个任务上，不仅性能提升，而且速度比SOTA模型快6-7倍。1 Introduction套路，所有论文一样的写法2 Related Work套路，所有论文一样的写法
2021-02-02 20:50:27
749
原创 WordCloud的用法
WordCloud的用法1、导入需要的库# coding: utf-8import jiebaimport wordcloudimport randomimport timeimport pandas as pdfrom wordcloud import WordCloudimport matplotlib.pyplot as plt2、对文本的处理text_data = '''白色情人节，（英语：White Day；日语：ホワイトデー），订于3月14日，一般认为是对于西方情人节
2021-01-17 21:06:44
1554
原创 {TypeError}Tensors in list passed to ‘values‘ of ‘ConcatV2‘ Op have types [bool, float32] that don‘t
在使用keras_contrib的CRF时报错{TypeError}Tensors in list passed to 'values' of 'ConcatV2' Op have types [bool, float32] that don't all match.原因：keras版本的问题解决办法：卸载之前版本的keras，然后安装2.2.4的，操作如下：pip uninstall keraspip install keras==2.2.4...
2020-12-14 20:04:33
759
原创 pip如何一键安装所需的软件
pip如何一键安装所需的软件1、将所需软件列在requirement.txt文件中，如下matplotlibjiebatensorflow==1.15keras==2.3.1tensorBoard2、安装的时候使用如下命令pip install -r requirement.txt
2020-12-07 13:59:00
394
原创 python re 查找字符串中是否含有汉字
如何使用python中的re来查找字符串中是否含有汉字import repat = "[\u4e00-\u9fa5]+"s = ...if re.search(pat, s): print(True)else: print(False)
2020-12-03 14:26:04
2715
2
原创 Python如何打印出26个大写字母和26个小写字母
1、先通过ord得到A和a的ASCII码值ord("A") =》 65ord("a") =》 972、打印26个大写字母for i in range(26): num = 65 + i print("%c" % i)2、打印26个小写字母for i in range(26): num = 97 + i print("%c" % i)
2020-12-02 11:33:59
4685
1
原创 windows中使用anaconda安装cpu版本的pytorch
1、创建虚拟环境conda create -n pytorch python=3.72、激活创建的虚拟环境conda activate pytorch3、在“C:\Users\xxx.condarc”添加清华源，xxx是用户名channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
2020-11-06 22:12:20
284
原创 安装pytorch后出现 Microsoft Visual C++ Redistributable is not installed, this may lead to the DLL
下载下面链接的东西，然后双击安装即可https://aka.ms/vs/16/release/vc_redist.x64.exe
2020-11-06 22:02:59
2447
原创 Github下载速度慢的问题及解决方法
有时候在github用git clone下载公开项目文件的时候，速度很慢，解决办法就是从git clone的域名入手，实际上用git clone下载项目文件时，使用的域名是http://github.global.ssl.fastly.net，非http://github.com/。因此，我们可以修改本地的host文件，在host文件中增加域名及域名解析对应的ip，给该域名指定ip。Windows中host文件路径：C:\Windows\System32\drivers\etc\hosts有两种方法
2020-11-06 10:45:51
2236
原创 报错 AttributeError: ‘str‘ object has no attribute ‘decode‘
在进行keras.models.load_model(path)时报错如下File "C:\Users\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow_core\python\keras\saving\hdf5_format.py", line 160, in load_model_from_hdf5 model_config = json.loads(model_config.decode('utf-8'))AttributeErr
2020-11-05 17:28:18
3743
6
原创 import numpy报错
在import numpy以及import tensorflow中报错如下 ** On entry to DGEBAL parameter number 3 had an illegal value ** On entry to DGEHRD parameter number 2 had an illegal value ** On entry to DORGHR DORGQR parameter number 2 had an illegal value ** On entry to DH
2020-11-05 11:10:11
5870
29
原创 京东NLP课程之动态规划
1、找零问题假设有多枚硬币（例如1、3、5），为达到目标值（例如23），求最少需要多少硬币数，若无论如何组合都达不到该目标值就返回-1。解题思路：首先思考如何得到dp(n)代码实现如下：def solution1(v: [int], t: int): dp = [0, ] # dp[i]表示目标值为i时，硬币总数 for n in range(1, t+1): tmp = -1 for coin in v: if n &g
2020-10-25 23:21:03
303
原创 报错 Non-OK-status CudaLaunchKernel
在构建深度学习模型的时候提示Non-OK-status: CudaLaunchKernel(FillPhiloxRandomKernelLaunch, num_blocks, block_size, 0, d.stream(), gen, data, size, dist) status: Internal: out of memory原因是config.gpu_options.per_process_gpu_memory_fraction = 0.99，比例设置太大了，cuda无法提供，所以报错，改小点
2020-05-24 21:41:13
4957
1
原创 ubuntu上安装PaddlePaddle
1. 安装前的准备1.1 先安装pip以及virtualenv参考https://blog.youkuaiyun.com/ff_xun/article/details/81951512$ sudo apt-get install python-pip python-dev python-virtualenv # 安装python2.x$ sudo apt-get install python3-pip...
2020-05-06 16:08:06
616
原创 windows修改pip安装源加快pip install的速度
见https://blog.youkuaiyun.com/qq_28956001/article/details/105500268
2020-05-06 15:19:51
228
转载 Ubuntu 遭遇 无法打开锁文件 /var/lib/dpkg/lock - open (13: 权限不够)
见https://blog.youkuaiyun.com/TDHypocrites/article/details/78046856
2020-05-06 15:10:57
771
转载 使用keras进行多输入和多输出的模型搭建
from keras import Input, Modelfrom keras.layers import Dense, Concatenateimport numpy as npfrom keras.utils import plot_modelfrom numpy import random as rdsamples_n = 3000samples_dim_01 = 2sam...
2020-04-28 09:24:39
2358
原创 java中static关键字的使用说明
见https://blog.youkuaiyun.com/qq_19782019/article/details/80259836
2020-02-07 14:33:43
138
原创 pip安装pymssql模块时报错“PEP 517”怎么解决？
欲在ubuntu上安装pymssql，使用pip install pymssql操作，报错如下Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simpleCollecting pymssql Using cached https://pypi.tuna.tsinghua.edu.cn/packages/4a/20/bcd4db9e...
2020-01-03 18:09:58
10126
原创 打开tensorboard提示No dashboards are active for the current data set.
保存好summary文件到log文件夹之后，然后在终端输入tensorboard --logdir==log，然后打开localhost:6006，其中localhost是我服务器的host。结果提示No dashboards are active for the current data set.原因是logdir后只有一个=不是两个=...
2019-12-16 09:59:27
274
原创 ValueError: Cannot find the variable that is an input to the ReadVariableOp.
在.h5转 .pb文件时，graph_util.convert_variables_to_constants出现下图错误当时keras的版本是2.3，降低keras版本pip install keras==2.2然后提示如下ImportError: cannot import name 'tokenizer_from_json' from 'keras_preprocessing.text...
2019-12-05 13:44:42
1337
原创 tensorflow设定程序运行时gpu使用率
import tensorflow as tffrom keras.backend.tensorflow_backend import set_sessionconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction=0.1set_session(tf.Session(config=config)...
2019-12-04 16:54:56
329
1
原创 keras构建网络时如何使用flask来生成web端服务
keras构建网络时如何使用flask来生成web端服务报错提示如下：添加如下代码就可以解决该问题from tensorflow.python.keras.backend import set_session# 程序开始时声明sess = tf.Session()graph = tf.get_default_graph()# 在model加载前添加set_sessionset_se...
2019-12-04 16:11:15
239
原创 ubuntu在virtualenv中安装tensorflow
见https://blog.youkuaiyun.com/ff_xun/article/details/81951512
2019-12-04 13:58:27
120
转载 keras 设置GPU使用率
keras 设置GPU使用率代码如下import tensorflow as tffrom keras.backend.tensorflow_backend import set_sessionconfig = tf.ConfigProto()config.gpu_options.allocator_type = 'BFC' #A "Best-fit with coalescing" al...
2019-12-03 16:39:05
1869
1
转载 标签平滑label smoothing
lable smoothing是分类问题中错误标注的一种解决方法。对于分类问题，特别是多分类问题，常常把向量转换成one-hot-vectorone-hot带来的问题：对于损失函数，我们需要用预测概率去拟合真实概率，而拟合one-hot的真实概率函数会带来两个问题：1)无法保证模型的泛化能力，容易造成过拟合；2) 全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大，而由梯度有界可知...
2019-11-12 13:46:39
679
原创 tf.matmul使用注意点
在使用tf.matmul做矩阵运算时，需要注意一下几点1、如果transpose_b参数设置为False，那么x的最后一维要跟y的倒数第二维相等，即:tf.matmul(x, y, transpose_b = False)x.shape = [..., x1, x2]y.shape = [..., y1, y2]x2 = y12、如果transpose_b参数设置为True，那么x的...
2019-11-08 09:33:02
4412
1
原创 softmax函数的改进
softmax函数的运算涉及到了指数函数的计算，故对于计算机而言就存在了一个 “溢出问题”。因为指数函数的增长容易变得非常大，这些超大值之间进行除法，结果会出现 nan（not a number）计算机在进行数值运算时，数值的大小必须在4字节或者8字节的有效数据带宽内。故需要对softmax函数进行改进：从上述公式推导来看，在分子分母同乘以C常数，结果不变。故在softmax函数的指数运算中...
2019-11-06 15:20:48
1507
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人