candy134834-优快云博客

原创 Linux 安装 thriftpy 出现错误

Running setup.py install for thriftpy ... errorERROR: Command errored out with exit status 1: command: /root/anaconda3/envs/py370/bin/python -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-m9gfdll7/thriftpy_a7b64...

2021-06-17 14:41:49 716

原创 windows10 使用python（pyhive,impala）连接hive 遇到的问题

1.socket.gaierror: [Errno 11001] getaddrinfo failed 解决方法：一定不要输入http://，另外不要输入密码 conn = hive.Connection(host="12.34.5.20",port=10000,username='**',database='**')2. builtins.ValueError: Password should be set if and only if in LDAP or CUSTOM mode;...

2021-06-17 11:59:53 2957 2

原创 Anaconda Python3.7环境 import _ssl DLL load failed（ImportError:DLL load failed:找不到指定模块）

是环境变量的问题！D:\Anaconda3;D:\Anaconda3\Scripts;D:\Anaconda3\Library\bin要添加三个环境变量

2021-06-10 13:48:08 286

原创 windows git bash python

最近想在git bash上运行 python 命令但是发现，输入之后，直接返回一个搜索页面。直接git bash下运行相关命令：type python输出的是 python环境的位置，返回的是C:\Users\******\Microsoft\WindowsApps\python你双击该路径下面的python 发现和刚才你在git bash上输入python的效果是一样的我安装python环境使用的是 anaconda,但是没有将它加入到环境变量，加入之后，就没有问题了。...

2021-05-22 16:45:03 401

原创 python 安装cv2 OpenCV

python -m pip install --upgrade pip然后安装opencv-pythonpip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python

2021-02-07 16:00:52 143

原创 AttributeError: module ‘tensorflow_core._api.v2.config‘ has no attribute ‘list_physical_devices‘

本人使用tf版本 1.14.0,#physical_devices = tf.config.list_physical_devices('GPU')#tf.config.experimental.set_memory_growth(physical_devices[0], True)上面错误应该是：physical_devices = tf.config.experimental.list_physical_devices('GPU')tf.config.experimental.set_m

2021-01-14 15:54:15 1014 1

原创 Tensorflow serving No versions of servable ＜MODEL＞ found under base path

docker 部署模型，出现这个错误，运行命令，没有任何问题，发现原因，原来model_version是0.0.1然后就会出现那个错误，改成1就没有任何问题了

2020-12-23 10:22:25 589

原创 Centos8安装 net-tools

安装net-tools的版本一定要和 centos的版本对应上，要不然会出现warning: /root/ai_qa/0.0.1/install_files/net-tools-2.0-0.25.20131004git.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY进入到http://mirror.centos.org/centos/8/BaseOS/x86_64/os/Packages/，然后下载...

2020-12-18 10:22:07 1441

原创 docker 部署tfserving服务，发生 transpose expects a vector of size 4. But input(1) is a vector of size 3

原因是docker run -p 8530:8500 -p 8531:8501 -v /home/zll/crfcom2/service/tfserving:/models/model -it tensorflow/serving:latest --model_name=model有个参数是--enable_batching 默认是false,如果是false的时候data={"signature_name":"predict_fund","instances":[{"word_ids":...

2020-12-03 13:40:52 1268 1

原创 navicate for mysql导出数据部分列，出现乱码

使用navicate for mysql,版本是11.1.13导出数据（数据库里面是正常带的），发现部分列出现乱码，如下：更新一下navicate 的版本就可以了。

2020-11-26 15:27:31 324

原创 Failed to read [E:\models\roBert\graph.db]: NodeDef mentions attr ‘batch_dims‘ not in Op＜name=Gather

Failed to read [E:\models\roBert\graph.db]: NodeDef mentions attr 'batch_dims' not in Op<name=GatherV2; signature=params:Tparams, indices:Tindices, axis:Taxis -> output:Tparams; attr=Tparams:type; attr=Tindices:type,allowed=[DT_INT32, DT_INT64]; attr

2020-09-27 17:55:56 660

翻译 CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model

整篇文章，很好理解，建议大家读一下。0 摘要主要是使用CLUECorpus2020，100G语料预训练模型。他们在小数据及以及大数据集上做了实验，表明这个语料训练的模型，更适合中文。他们使用的vcoba_clue是8k,是google的Chinese Bert的1/3 。他们发布了这个语料训练的小模型和大模型。大模型能达到最高的水平,小模型在保留大部分精度的情况下加速了训练,并且预测速度是bert-base的8倍。1 引言这篇论文的主要贡献是：• 提供了可供预训练...

2020-09-25 15:08:56 1408

原创 Java - java.lang.UnsatisfiedLinkError: tensorflow_jni.dll: Can‘t find dependent libraries

原本想java测试一下并发性能，后来出现上述问题：如果使用gpu测试那么，依赖包应该有两个compile "org.tensorflow:tensorflow:1.13.1"compile "org.tensorflow:libtensorflow_jni_gpu:1.13.1"如果再cpu上测试，依赖包应该只有一个compile "org.tensorflow:tensorflow:1.13.1"如果此时有两个，那么就会包上面的问题，好奇怪！！！...

2020-09-23 18:47:45 682

原创 AttributeError：‘LinearSVC‘对象没有属性‘predict_proba‘

使用linearsvc.predict_proba（）报了这个错误，可以使用svmPreds=svm_classifier.decision_function(vectorised_test_documents) 这个来替代

2020-09-16 10:54:32 2334

原创 AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label

摘要对于极大规模文本分类问题,传统方法主要是采用bag_of_words方法，该方法忽略了词的上下文以及深层语义信息，尝试用深度学习的方法解决BOW 产生的问题，但是仍然面临两个问题：a.对于每个标签无法捕获最重要的文本信息；b.针对大量label缺少可扩展性。因此作者提出一种基于树标签的深度学习模型，AttentionXML ，它的创新点主要有两个：提出了multi-label attention mechanism，该机制能捕获和每个标签最相关的部分，即对于不同的标签有不同的文本表示。

2020-09-15 18:02:21 2764 1

原创 Broadcast function not implemented for CPU tensors

是因为我的model没有放在cuda上原来是：self.model = nn.DataParallel(network(**kwargs), device_ids=device_ids)修改成：self.model = nn.DataParallel(network(**kwargs).cuda(), device_ids=device_ids)

2020-09-09 09:26:05 1190 1

原创 builtins.ValueError: Object arrays cannot be loaded when allow_pickle=False

使用np.save()保存npy文件时，使用np.load(label_file) 有问题,解决办法 np.load(label_file,allow_pickle = True) 即可。

2020-08-27 09:58:45 250

原创 from ruamel.yaml import YAML ModuleNotFoundError: No module named ‘ruamel‘

需要安装一个模块ruamel 然后pip installruamel.yaml==0.16.5 ,但是from ruamel.yaml import YAML 导入的时候仍然会有上面的错误，在网上找了好久也没有找到解决办法。。。头疼，然后把from ruamel.yaml import YAML 删掉改成import yaml然后一定要在修改一下你读文件的位置：#yaml = YAML(typ='safe')#data_cnf, model_cnf = yaml.load(Path...

2020-08-26 16:05:34 6595 1

原创 windows写的docker启动文件start_docker 下放在linux服务器上运行总是很快退出(docker 能正常启动)

start_docker具体内容如下：docker run -d -it -p 8090:5007 \ -v /home/zll/dockerxgb/docker/data/:/root/ai_qa/0.0.1/data/ \ -v /home/zll/dockerxgb/docker/install_files:/root/ai_qa/0.0.1/install_files/ \ -v /home/zll/dockerxgb/docker/test:/root/ai_...

2020-08-24 09:41:12 186

原创 builtins.ImportError: cannot import name ‘SparseFeat‘

是应为我们安装deepctr，安装的是0.8版本，但是 0.8版本接口发生了改动，具体见https://zhuanlan.zhihu.com/p/151009317因此from deepctr.inputs import SparseFeat,get_feature_names 改为from deepctr.feature_column import SparseFeat,get_feature_names...

2020-08-07 14:11:11 1790 1

原创 bisect解析

a=[1,3,5,8,11]b=list(map(lambda x:bisect.bisect_right(a,x),[2,7,10,12]))b[1, 3, 4, 5]bisect.bisect_right 是将[2,7,10,12]分别插入到a里面，a一定是排好序的，然后返回的是插入到a里面的索引(位置）c=list(map(lambda x:bisect.bisect_lef...

2020-05-08 10:10:45 408

原创 psutil/_psutil_common.c:9:20: fatal error: Python.h: No such file or directory compilation termi

这个导致tensorflow 安装不上以及其他的包无法安装可以sudo yum install python-develsudo yum install python3-devel

2020-04-08 15:43:10 3936 1

原创 networkx

一个图一旦保存无论是不是 multiGraph nx.write_pajek 之后都会变成MultiGraphGraph 节点的属性最好都要用 string类型，因为一次属性值是 int 保存之后，在加载那个属性就没了没了很奇怪保存使用下面的方法，恢复的话 Graph还是原来的图类型nx.write_gpickle(G, "florentine_fam...

2019-08-13 15:46:23 875 1

原创 windows10 家庭版安装docker

家庭版安装dockerhttp://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/一定要选择 ce版本一次就能成功专业版和企业版和教育版安装docker1首先看电脑是否支持虚拟化需要安装hyper-v Docker for Windows家庭版安装docker但是Docker Toolbo...

2019-06-04 11:19:46 192

原创 tf.gather()

import numpy as npimport tensorflow as tfsess=tf.InteractiveSession()a=tf.constant([5,5,6,6,3,3])b=tf.reshape(tf.range(6),(3,2))b=tf.tile(b,[2,3])sess.run(b)array([[0, 1, 0, 1, 0, 1], [...

2019-05-06 15:13:56 723

原创 Can't find model 'en'. It doesn't seem to be a shortcut link, a Python package or a valid path to a

python -m spacy download en_core_web_smpython -m spacy download en

2019-04-16 14:00:13 1076

原创安装了 tensorflow-gpu 但是导入 import tensorflow 时却无法导入

pip install tensorflow-gpu 安装之后导入 import tensorflow 时却无法导入，应该是安装tensorflow-gpu 的版本和cuda的版本不一致

2019-03-08 16:56:42 11573 1

原创在不同系统下正则的效果是不一样的

fl='./data/seq2seq_results-0\\seq2seq_0_0.model在 arr = re.split('\/', fl_)[-1] 在windows下的结果和 centos 的结果是不一样的在windows下的结果是 'seq2seq_results-0\\seq2seq_0_0.model'在centos下的结果是 seq2seq_0_0.model ...

2019-02-22 17:54:26 485

原创 Ubuntu 安装 Levenshtein 出现 venshtein.c:99:20: fatal error: Python.h: No such file or directory

Levenshtein/_levenshtein.c:99:20: fatal error: Python.h: No such file or directory compilation terminated. error: command 'x86_64-linux-gnu-gcc' failed with exit status 1解决 sudo apt-get i...

2019-02-13 16:48:24 1518

翻译 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

长度可以不一样的语言模型 (就是依赖下一层和下一层的前一段)https://arxiv.org/pdf/1901.02860.pdftransformer 框架有学习长期依赖的潜能，但是受限于语言模型设置的固定长度。作为一种解决方法，我们提出一种新颖的网络结构 Transformer-XL,它能使 Transformer...

2019-02-02 14:40:29 4403

原创 java 调用python 模型

import org.apache.commons.lang3.StringUtils;import org.tensorflow.Graph;import org.tensorflow.Session;import org.tensorflow.Tensor;import java.io.*;import java.nio.file.Files;import java.nio....

2019-01-29 11:19:19 5180

转载 java 调用python 模型 Cannot find TensorFlow native library for OS: windows, architecture: x86.

jdk 有32位 64位之分 tensorflow python安装64位那么 jdk也应该是64位

2019-01-28 11:11:16 1957 2

转载转载 intellij IDE Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

原文 https://blog.youkuaiyun.com/weixin_37595559/article/details/78903957                出现该原因是因为内存不够用了，所以需要 修改java vm 的内存；打开intellij IDE 的...

2019-01-28 10:11:32 540

转载转载 intellij IDE Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

原文 https://blog.youkuaiyun.com/weixin_37595559/article/details/78903957<div class="htmledit_views" id="content_views"> <p>出现该原因是因为<span style="font-family:Arial, '宋体';font-...

2019-01-28 10:09:52 543

原创 jython 将py 文件变成 .class 文件

jython -m compileall tokenization.py 编译后的文件名字为 tokenization$py.classjython 如何安装百度一下下载 jython-installer-2.7.0.jar 直接双击就可以安装

2019-01-24 13:33:00 1463

原创 torch.narrow()

import torch.tensor x=torch.rand(5,6)x tensor([[0.4606, 0.0850, 0.8009, 0.3972, 0.9548, 0.5982], [0.4821, 0.9446, 0.5145, 0.8125, 0.3122, 0.9756], [0.8747, 0.7186, 0.3945, 0.4090, 0...

2019-01-23 07:56:20 1463

转载 python学习之-获取get和post请求转载 https://blog.youkuaiyun.com/guokeshun/article/details/80774831

1.python接收get请求里的参数req = request.args.get('xxx')2.python接收post请求里的参数req = request.form.get('xxx')

2019-01-17 10:02:05 667

转载数据集下载地址（转）以下内容转自https://baijiahao.baidu.com/s?id=1615853849218131902&wfr=spider&for=pc

以下内容转自https://baijiahao.baidu.com/s?id=1615853849218131902&wfr=spider&for=pc图像分类领域1）MNIST经典的小型（28x28 像素）灰度手写数字数据集，开发于 20 世纪 90 年代，主要用于测试当时最复杂的模型...

2019-01-13 08:22:42 69147

原创 git 遇到的一些问题

Git生成公钥 bash:ssh-keygen command not foundgit 生成公钥转载 https://blog.youkuaiyun.com/zfs1994/article/details/52682129如何修改git全局初始化的用户名和邮箱？https://blog.youkuaiyun.com/qq_27229113/article/details/73484258fatal...

2019-01-09 09:31:05 528

原创 tf.pad() 是再不同的维度进行填充

t = tf.constant([[1, 2, 3], [4, 5, 6]]) paddings = tf.constant([[1, 1,], [2, 2]]) tf.pad(t, paddings, "CONSTANT") <tf.Tensor 'Pad:0' shape=(4, 7) dtype=int32>sess=tf.InteractiveSession()...

2019-01-06 12:10:23 753

空空如也

空空如也