
python学习
农民小飞侠
如果放弃了,那还谈什么理想
展开
-
ubuntu16.04 stgcn运行报错Did you forget to `#include <pybind11/stl.h>`? Or <pybind11/complex.h>, <pybind
今天openpose完以后,运行stgcn的demo程序报错,运行的命令如下:python main.py demo_offline --video ./resource/media/clean_and_jerk.mp4 --openpose /media/data/projects/A15697/openpose-master/build然后出现如下的错误:Starting OpenPose Python Wrapper...Auto-detecting all available GPUs..原创 2021-11-13 20:09:54 · 2311 阅读 · 2 评论 -
Error executing Jupyter command ‘notebook‘: [Errno 2] No such file or directory
今天在运行jupyter notebook的时候,出现了下面的问题,Error executing Jupyter command 'notebook': [Errno 2] No such file or directory解决方法pip install --upgrade --force-reinstall --no-cache-dir jupyter --ignore-installed参考文献Error when executing jupyter notebook (No such原创 2021-07-22 16:54:46 · 359 阅读 · 0 评论 -
python 处理1998-01-2003版-带音.txt文本
今天处理了一下,转换gbk编码为utf-8,1998-01-2003版-带音.txt,我重新命令为1998-01-2003.txtdef convert_encoding(input_file, output_file, input_encoding='gbk', output_encoding='utf8'): with open(input_file, 'rb') as input_fd, open(output_file, 'wb') as outp原创 2021-07-19 11:55:20 · 293 阅读 · 0 评论 -
python ModuleNotFoundError: No module named ‘torchsummary‘
今天在运行network in network程序的时候,出现了下面的错误:Traceback (most recent call last): File "load_premodel.py", line 7, in <module> from torchsummary import summaryModuleNotFoundError: No module named 'torchsummary'解决方法pip install torchsummary参考文献[已解原创 2021-07-06 08:40:34 · 5857 阅读 · 2 评论 -
python numpy打开fid_stats_cifar10_train.npz
今天尝试用numpy打开文件看了一下,这里分享一下我的读取过程:import numpy as npdata=np.load('fid_stats_cifar10_train.npz')print(data.files) #显示文件里包含了哪些keys# 打印shapeprint(data['mu'].shape)print(data['sigma'].shape)输出['mu', 'sigma'](2048,)(2048, 2048)包含了这些玩意儿,后面看看这些东西是啥参原创 2021-06-26 11:12:25 · 851 阅读 · 0 评论 -
python 批量给文件重命名
今天发现程序输出的图片缺少后缀名.png,然后再次运行程序生成这么多图片的代价很大,所以写了一个批量命名的文件:import ospaths=os.listdir('images')for path in paths: src_path=os.path.join('images',path) tgt_path=os.path.join('images',path+'.png')# print(src_path)# print(tgt_path) os.r原创 2021-06-16 13:25:42 · 668 阅读 · 0 评论 -
RuntimeError: Could not find GCC executable.
今天使用paddle的parl的ddpg时候,出现了下面的问题:[03-01 18:44:43 MainThread @logger.py:242] Argv: train.py[03-01 18:44:43 MainThread @utils.py:79] WRN paddlepaddle version: 2.0.0. The dynamic graph version of PARL is under development, not fully tested and supported[03-原创 2021-03-01 18:53:40 · 1389 阅读 · 0 评论 -
ERROR: Could not build wheels for mujoco-py which use PEP 517 and cannot be installed directly
今天安装mujoco-py的时候,遇见了下面的错误:➜ v2 pip install mujoco-pyLooking in indexes: http://pip.baidu.com/root/baidu/+simple/Collecting mujoco-py Downloading http://pip.baidu.com/root/baidu/packages/packages/2f/48/b108057c1a23c8da9f4cdc7a7c46ab7cec49c3563c0706d50原创 2021-03-01 18:25:34 · 7727 阅读 · 5 评论 -
用贝叶斯优化的方法优化xgboost的参数
除了我们平常所做的网格搜索,随机搜索外,我发现贝叶斯优化的方法挺不错,然后我就尝试了一下,发现效果挺好的,我这里把我的代码分享出来:贝叶斯优化通过基于目标函数的过去评估结果建立替代函数(概率模型),来找到最小化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于,它在尝试下一组超参数时,会参考之前的评估结果,因此可以省去很多无用功。超参数的评估代价很大,因为它要求使用待评估的超参数训练一遍模型,而许多深度学习模型动则几个小时几天才能完成训练,并评估模型,因此耗费巨大。贝叶斯调参发使用不断更新的概率模型原创 2021-01-31 20:18:06 · 7727 阅读 · 6 评论 -
python coo_matrix取某一行或者某一列
最近用到了sparse里面的coo_matrix结构,结果它并不能像以前的list或者numpy根据索引来取某一行或者某一列,那怎么办呢?from scipy import sparseimport numpy as npmatrix = np.array([[9, 8, 7], [6, 5, 4], [3, 2, 1]])mat= sparse.coo_matrix(matrix)print(mat.getcol(1))print(mat.getrow(1))用getrow和getcol就原创 2020-10-22 09:48:02 · 2296 阅读 · 0 评论 -
No matching distribution found for setuptools_scm
今天在安装seqeval的时候出现了下面的错误: No matching distribution found for setuptools_scm其实错误信息不止这么多,我只挑最核心的语句。解决方法pip install setuptools-scmpip install seqeval参考文献[1].seqeval.https://github.com/chakki-works/seqeval[2].setuptools_scm.https://pypi.o...原创 2020-09-09 12:11:01 · 7050 阅读 · 2 评论 -
python 实现MinHash和MinHashLSH算法
最近实现了一把MinHash和MinHashLSH算法,发现实现的细节还是挺难的,所以我把datasketch的源代码改了一下,去除了很多冗余的代码,保留了算法的实现主要细节部分。MinHash算法:import hashlibimport numpy as npdef sha1_hash32(data): return struct.unpack('<I', hashlib.sha1(data).digest()[:4])[0]_mersenne_prime = (1 &l原创 2020-08-23 12:06:47 · 3647 阅读 · 4 评论 -
python flask ModuleNotFoundError: No module named ‘flask_migrate‘
今天在运行github上的开源程序的时候,遇见了下面的错误:(base) ➜ ZhiHuQuestion git:(master) python manage.pyTraceback (most recent call last): File "manage.py", line 2, in <module> from flask_migrate import Migrate, MigrateCommandModuleNotFoundError: No module nam原创 2020-08-01 11:07:45 · 5327 阅读 · 0 评论 -
python efficientdet AttributeError: module ‘gast‘ has no attribute ‘Num‘
今天在用efficientDet跑模型的时候,出现了下面的警告:WARNING:tensorflow:Entity <bound method RegressBoxes.call of <layers.RegressBoxes object at 0x7f41c3f35a90>> could not be transformed and will be executed as-is. Please report this to the AutgoGraph team. When原创 2020-07-05 09:41:30 · 1525 阅读 · 0 评论 -
python 按照标点符号切分句子,去除标点符号,判断字符串是否包含中文
最近在处理文本,发现切分句子,去除标点符号,判断字符串是否包含中文经常会用到,我这里分享一下我的代码:切分句子import redef split_sentences(line): line_split = re.split(r'[。!;?,]',line.strip()) line_split = [line.strip() for line in line_split if line.strip() not in ['。','!','?',';',','] and len(li原创 2020-06-09 18:29:59 · 7651 阅读 · 4 评论 -
opencv-python提取二维码(二)
今天尝试了一下博客:https://blog.youkuaiyun.com/kellen_f/article/details/81667315发现报了各种错误,然后我把解决过程记录下来,我安装了下面的库:pip install opencv-python-headlessopencv相关的版本为:opencv-contrib-python 3.4.2.16opencv-python 4.2.0.32openc原创 2020-06-08 22:28:43 · 1126 阅读 · 1 评论 -
python 多分类画auc曲线和macro-average ROC curve
最近帮一个人做了一个多分类画auc曲线的东西,不过最后那个人不要了,还被说了一顿,心里很是不爽,anyway,我写代码的还是要继续写代码的,所以我准备把我修改的代码分享开来,供大家研究学习。导入基础的pandas和keras处理函数import pandas as pdfrom keras.utils import to_categorical导入数据data=pd.read_excel('5分类新.xlsx')data.head()导入机器学习库from sklearn.met原创 2020-06-07 00:15:07 · 8323 阅读 · 2 评论 -
python r Pruned Dependency Trees
今天在调试Graph Convolution over Pruned Dependency Trees Improves Relation Extraction代码的是时候,想搞清楚依赖树是怎么构成的,我特地给Tree.py写了一个测试用例,代码的地址为:https://github.com/qipeng/gcn-over-pruned-trees/tree/db7c128e5c6fcccbe56c1358ba8f4fed30428678是用pytorch,话不多说,直接看代码:"""Bas原创 2020-05-24 20:00:47 · 754 阅读 · 2 评论 -
python 获取百度地图上北京地铁的数据,然后excel导出
今天有人叫我写一下怎样获取百度上地铁的站的名字和线路的代码,我顺手写了一下,这里分享一下我的过程:import requestsimport jsonimport pandas as pd# url='https://map.baidu.com/?qt=subways&c=131&format=json&t=1589545402711&callback=jsonp96324632'url='https://map.baidu.com/?qt=subways原创 2020-05-15 22:38:59 · 1244 阅读 · 0 评论 -
python 查看github上,某个人的star数量
今天想查看一下自己在github上的项目的star和fork的情况,本来找到了一个命令行的工具,https://github.com/wolfg1969/oh-my-starsoh-my-stars,发现不合适,然后发现这个工具挺好用的,下载即运行git clone https://github.com/guofei9987/github_star_counter.gitcd github_star_counter运行:python github_counter.py your_git原创 2020-05-15 17:35:34 · 603 阅读 · 0 评论 -
mac selenium 连接已经打开的chrome浏览器
今天在mac环境下尝试了一下用selenium连接现有的服务器,本来想绕过某宝的反爬虫机制的,但是并没有什么用,但是这个技术不错,我这里分享一下实现过程。添加环境变量export PATH="/Applications/Google Chrome.app/Contents/MacOS:$PATH"把上面的这一句添加到bashrc中,我的是zshrc,然后激活环境:source ~/.zshrc然后打开chrome:Google\ Chrome --remote-debugging原创 2020-05-10 10:18:38 · 4964 阅读 · 7 评论 -
python requests post和get请求,并把结果写入json文件中
今天在分析网页的时候,发现需要利用requests请求,得到数据,然后这会经常用到,虽然简单,但是容易忘记,所以我这里记录一下我用的python requests的demo文件post请求import requests,jsonheaders = {"accept": "*/*","accept-encoding": "gzip, deflate, br","accept-la...原创 2020-05-07 13:38:31 · 6690 阅读 · 0 评论 -
RuntimeError: expected device cuda:0 and dtype Byte but got device cuda:0 and dtype Bool
pytorch 运行的时候出现了下面的错误:loading 9423 train samples...loading 1048 dev samples...Traceback (most recent call last): File "train.py", line 170, in <module> main() File "train.py", line ...原创 2020-04-27 15:13:05 · 2088 阅读 · 0 评论 -
python3 利用ffmpeg把音频转换为16khz的wav文件
最近语音识别需要转换为16khz 16位的wav文件,这里分享一下我的代码:这里默认电脑已经安装好ffmpeg,没安装好的话,mac用hombrew安装一下就行了,然后:import osdef audio2wav(audio_path,output_name): """ 任意音频格式转换为wav格式,需要安装ffmpeeg """ output_na...原创 2020-04-26 14:48:40 · 4914 阅读 · 6 评论 -
python No dq3d python package, filterreg deformation model not available.
今天在安装probreg的时候,没有报错,但是在运行代码的时候报错了:安装命令为:pip install probreg示例代码为:import copyimport numpy as npimport open3d as o3from probreg import cpd# load source and target point cloudsource = o3...原创 2020-04-21 22:50:55 · 971 阅读 · 2 评论 -
python3 beautifulsoup解析网页下载图片
今天有朋友叫我解析以下img的url,然后下载图片,这里我分享一下我的下载过程。import urllib.requestfrom bs4 import BeautifulSoup#获取页面信息def getHtml(url): html = urllib.request.urlopen(url).read() return htmlurl='https://pa...原创 2020-04-16 14:13:55 · 903 阅读 · 0 评论 -
python tensorflow 2.0 GPU和CPU版本的安装
今天试了一下安装了tensorflow2.0 alpha版本,我以为tf2.0以后没有cpu版本和GPU版本之分,尝试了一下之后,发现不对,看来还是要区分的,我这里分享一下gpu和cpu版本的安装:# CPUpip install tensorflow==2.0.0-alpha0# GPUpip install tensorflow-gpu==2.0.0-alpha0装下面的gpu...原创 2020-04-16 00:00:23 · 1420 阅读 · 0 评论 -
pandas 多个list合并输出为csv文件
最近经常会碰见把计算好的list输出为pandas,这里我把我经常用到的转换代码分享给大家一个例子list_res=[]for i in range(len(list_one_counts)): list_res.append([list_strip_names[i],list_one_counts[i],list_match[i]])column_name = ['人名', ...原创 2020-04-13 20:12:57 · 4120 阅读 · 0 评论 -
python3 zipfile.BadZipFile: File is not a zip file
今天在安装python-Levenshtein的时候出现了下面的问题: File "/usr/lib/python3/dist-packages/pip/commands/install.py", line 353, in run wb.build(autobuilding=True) File "/usr/lib/python3/dist-packages/pip/wheel....原创 2020-03-23 19:15:03 · 6194 阅读 · 0 评论 -
AttributeError: module 'yaml' has no attribute 'FullLoader'
今天在用yaml的时候出现了下面的错误:---------------------------------------------------------------------------AttributeError Traceback (most recent call last)<ipython-input-8-e2164...原创 2020-03-17 15:28:29 · 25302 阅读 · 8 评论 -
ubuntu 安装librosa的时候出现No matching distribution found for pytest-runner
今天在安装librosa的时候出现了下面的错误:wugaosheng@s206:~$ pip3 install librosaCollecting librosa Downloading http://mirrors.aliyun.com/pypi/packages/77/b5/1817862d64a7c231afd15419d8418ae1f000742cac275e85c74b21...原创 2020-03-10 18:25:50 · 5393 阅读 · 0 评论 -
mac ModuleNotFoundError: No module named 'Levenshtein'
今天在运行语音识别程序的时候出现了下面的错误:Traceback (most recent call last): File "train.py", line 6, in <module> from decoder import GreedyDecoder File "/Users/admin/Documents/pythonFiles/speech_recogn...原创 2020-03-09 15:57:39 · 4664 阅读 · 0 评论 -
python3 BD09ll转换WGS84坐标系,入门教程
最近最近试了一下一个网站的代码,链接为:http://www.forhoney.cn/2019/06/10/bd09ll%E8%BD%AC%E6%8D%A2wgs84%E5%9D%90%E6%A0%87%E7%B3%BB-python%E7%AF%87/发现只贴了核心代码,没有给出具体的使用示例,特别对初学者不友好,所以这里写了一个分享,我修改的代码为(demo.py):import p...原创 2020-03-03 14:49:11 · 2870 阅读 · 2 评论 -
ubuntu18.04修改pip源为阿里源
最近装新机器的时候总是需要换pip下载源,索性给自己写个教程吧,以后用得着cd ~mkdir .pipcd ~/.piptouch pip.confvim pip.conf然后写入:[global]trusted-host=mirrors.aliyun.comindex-url=https://mirrors.aliyun.com/pypi/simple/按照下...原创 2020-02-22 09:49:46 · 2118 阅读 · 1 评论 -
python3 PyPDF2分割pdf
首先需要安装:pip install PyPDF2然后利用下面的代码:from PyPDF2 import PdfFileReader, PdfFileWriter# PDF文件分割def split_pdf(read_file, out_detail): try: fp_read_file = open(read_file, 'rb') ...原创 2020-02-14 19:55:20 · 2206 阅读 · 0 评论 -
python3 统计一个list的词频
做统计机器学习经常需要统计,这里我来分享一下怎样统计一个list里面每个字符串的频率:from collections import Counterword_count=['I','am','from','China',',','I','Love','my','country','!','!','!']counter = Counter(word_count)dictionary=d...原创 2020-01-13 11:18:58 · 2916 阅读 · 0 评论 -
python3 json读取和写入带中文的文件
在用python的时候,我们经常需要保存数据为json格式,虽然是一个简单的操作,但是经常会记不住怎么操作,我这里梳理一下带中文的数据的json保存和读取dumps : 把数据类型转换成字符串dump : 把数据类型转换成字符串并存储在文件中loads : 把字符串转换成数据类型load : 把文件打开从字符串转换成数据类型json只能序列化最基本的数据类型,josn只能把常用的...原创 2020-01-10 10:12:03 · 1776 阅读 · 0 评论 -
pyqt5 TypeError: getOpenFileName(parent: QWidget = None, caption: str = '', directory: str = '', fil
今天在用pyqt5打开文件的时候,出现了下面的错误:Traceback (most recent call last): File "/Users/admin/PycharmProjects/test_qt/src/tooth.py", line 20, in openimage imgName, imgType = QFileDialog.getOpenFileName( '选...原创 2020-01-05 20:48:37 · 1748 阅读 · 0 评论 -
pandas 输出所有的行或者列
我们在用pandas查看信息的时候,往往列数过多了之后,就会用省略号把中间的列省去,这对于分析和查看造成了不便,这里只需要简单的设置就可以显示了:import pandas as pdpd.options.display.max_columns = None如果要显示所有的行的话,则:import pandas as pdpd.options.display.max_rows ...原创 2019-12-03 10:13:55 · 8346 阅读 · 0 评论 -
py2neo 给关系增加属性
在用neo4j的时候,可能有一条边有多个属性,这个时候怎么用py2neo来添加呢,这里给我我的例子:node1 = Node('person', per_name='Alice_1')node2 = Node('person', per_name='Bob_1')properties={'date':'2019-07-11'}node1_vs_node2 = Relationship(...原创 2019-11-28 17:50:15 · 5887 阅读 · 2 评论