Python
关注
分享
扫一扫
Davide~苏
Python:人工智能NLP方向，项目交付、算法实现、开发、运维、爬虫等；
Android：java后端、Apk开发、Rom定制等；
展开
-
python中出现\x08 和 \x06等字符处理方式
python中出现的无意义控制字符\x08\x06处理方式原创 2023-04-13 21:26:28 · 16297 阅读 · 0 评论 -
记一下mac m1上使用selenium的场景
已经有几年不做爬虫了 ，今天拿出了之前的一个项目。闲来无事，就试试再mac m1上跑起来~，结果发现，都适配的很好了！记一下我的步骤：1：安装python包# 我先创建了个虚拟环境conda create -n selenium python=3.7# 然后安装包pip3 install seleniumpip3 install lxmlpip3 install requests# 一定注意：如果你没有新建环境的话，一定注意安装过程中的包的版本是否适配，# 如不适配，按照提示 pip3原创 2021-11-12 16:57:55 · 17886 阅读 · 0 评论 -
docker部署sql-server
官方文档：https://hub.docker.com/_/microsoft-mssql-server?tab=description启动docker run -it -e "ACCEPT_EULA=Y" -e "SA_PASSWORD=Pass1234!" -p 1433:1433 [mcr.microsoft.com/mssql/server:2019-CU13-ubuntu-20.04](http://mcr.microsoft.com/mssql/server:2019-CU13-ubunt原创 2021-11-12 15:27:22 · 17019 阅读 · 0 评论 -
python logger工具类
# encoding: utf-8# Author : Davide<forever.suwei@gmail.com ># Datetime : 2021/2/19 5:38 下午# User : suwei# Product : PyCharm# Project :# File : logger.py# explain : 文件说明import logging.configimport osBASE_PATH = os.getc.原创 2021-02-19 17:58:00 · 18642 阅读 · 0 评论 -
python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument解决办法
我是在使用bert==0.09的时候，遇到这个问题原因：numpy和h5py版本兼容问题，网上说h5py 官方已修复合并到 master 分支，但是还没发新版，在发版之前可以用降级 numpy 的方法跳过这个问题。所以我找到适合我的应用场景的一组版本，问题就解决了。解决：pip3 install --upgrade h5py==2.9.0pip3 install --upgrade numpy==1.14.2bug还原#首先安装bert==0.09pip3 install原创 2020-06-02 15:32:24 · 35501 阅读 · 0 评论 -
NLP：BERT NER实体识别部署运行笔记
趁有时间，好好整理整理一些NLP算法原创 2020-06-02 14:56:17 · 35823 阅读 · 1 评论 -
一个简单的日志封装类
记录一个自己封装的日志类，不完善的地方，望指点。其中，包含写文件和输出到终点，定义日志等级，定义日志存储文件时间间隔，日志文件个数等并统一日志输出格式：文件名，方法名等信息import loggingfrom logging import handlersclass Logger(object): level_relations = { 'debug': logging.DEBUG, 'info': logging.INFO,原创 2020-05-18 11:42:41 · 40806 阅读 · 4 评论 -
fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
第一次使用fake_useragent的时候，需要请求网络来获取useragent的信息，放在本地，以后使用的时候，都是本地直接读取了。然而，请求useragent地址需要翻墙，所以，在没有翻墙的设备上会报这个错误。解决办法：浏览器打开网址：注意：要翻墙如果没办法翻墙的，可以从本文末尾代码框中复制保存即可https://fake-useragent.herokuapp.co...原创 2020-04-16 16:13:48 · 56286 阅读 · 0 评论 -
Stanford CoreNLP 纯Python版本的深度学习NLP工具包 stanza 使用笔记
1、安装pip install stanza2、下载模型 stanza_resourcesimport stanzastanza.download('en') # download English modelstanza.download('zh') # download chinese model注意：在jupyter中下载如果有问题，可在终端中，python交互界面中下...原创 2020-04-15 17:35:35 · 57532 阅读 · 9 评论 -
jupyter notebook 自动重新加载模块
%load_ext autoreload%autoreload 2自动重新加载更改的模块这个还是有问题的：假如有三个.py文件，1.py调用 2.py的常量、2中又调了3的常量，那么如果我更改3.py的常量值，那么，在jupyter中，即使加上了上面的语句，也不能重载到新值，但是，如果2中变化了一点，那么就能获取到3中的值。。。。1.py 使用 %run 1.py 导入...原创 2020-03-24 13:21:27 · 62079 阅读 · 0 评论 -
Python基础编码规范
一、代码布局缩进 建议采用空格最为缩进方式，程序中每一级缩进使用4个空格，首行无空格。def function(): pass行的最大长度 建议所有行限制的最大字符数为79。超出长度的换行继续.在二元运算符之前应该换行吗？ 尽量不换行空行 顶层函数和类的定义，前后用两个空行隔开。 ...原创 2020-01-31 11:33:06 · 66886 阅读 · 0 评论 -
记录一下scrapy中 settings 的一些配置
# 字符编码FEED_EXPORT_ENCODING = 'utf-8'# redis写法一# REDIS_URL = 'redis://localhost:6379' # redis写法二REDIS_HOST = '192.168.10.223'REDIS_PORT = 6379# 默认的 scrapy redis 会读取下面的密码和dbREDIS_PARAMS = {...原创 2020-01-16 11:49:41 · 85477 阅读 · 0 评论 -
解决 scrapy redis爬虫空跑，redis中的链接跑完后，程序仍然在监听队列，不关闭问题
平时使用scrapy redis主从式爬虫的时候，一般都是每天都会有爬取，所以没有考虑过这个问题，但是现在有个爬虫项目，redis队列是直接生成的，并且数量是一定的，所以在使用 scrapy slave时，需要判断一下队列是否已经被爬取完毕！经过度娘指点，知道了需要重写spider_idle 方法，在该方法中写自己的规则来判断是否要停止爬取。感谢！！！http://www.mamic...原创 2020-01-15 14:45:18 · 88078 阅读 · 1 评论 -
WARNING: This is a development server. Do not use it in a production deployment. falsk WSGI
Environment: production WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.记录一下这个问题， Environment: production WARN...原创 2019-12-26 11:25:55 · 148243 阅读 · 40 评论 -
python matplotlib 中文设置
发现一个比较好的方法来设置中文# 查看字体库import matplotlibfont_list=sorted([f.name for f in matplotlib.font_manager.fontManager.ttflist])for i in font_list: print (i)会有很多，然后找一个字体设置一下就好了只要这一句就好了，字体自己可以修改...原创 2019-12-15 13:04:12 · 87005 阅读 · 3 评论 -
python使用py2neo操作neo4j
安装：pip install py2neo安装过程中，可能会报错：ERROR: ipython 5.1.0 has requirement prompt-toolkit<2.0.0,>=1.0.3, but you'll have prompt-toolkit 2.0.10 which is incompatible.意思是 Ipython需要的 prompt-to...原创 2019-10-24 14:13:57 · 88424 阅读 · 0 评论 -
一个简单的例子来理解监督学习和非监督学习及其区别
首先，必须理解两个基本概念：特征值和目标值，先看图例1、特征值：特征值是指数据的特征，对于每个样本，通常具有一些 "属性"（Attribute）或者说 ”特征“（Feature），特征所具体取的值就被称作 ”特征值“。比如，苹果的皮是”光滑“的，橘子的皮是”褶皱“的，”光滑“和”褶皱“就是 ”苹果“ 和 ”橘子“ 这两个样本的特征 值2、目标值(标签)目标值又叫标签，...原创 2019-10-22 14:23:19 · 106934 阅读 · 1 评论 -
anaconda和python版本对照表
python2 python3 anaconda2/3 2.7.14 3.6.5 5.2.0 2.7.14 3.6.4 5.1.0 2.7.14 3.6.3 5.0.1 2.7.13 3.6.2 5.0.0 2.7.13 3.6.1 4.4.0 2.7.13 3.6.0 4.3.1 2....原创 2019-10-20 14:34:53 · 99178 阅读 · 2 评论 -
Anaconda常用命令笔记
Anaconda... 我现在主要用它进行虚拟环境的创建使用及一些Python包的安装，尤其是在深度学习方面的包的安装很方便，很多情况下，如果你pip install 失败了的话，使用 conda install 基本都能解决！！！ Anaconda的安装可能只在最后的环境变量配置稍稍麻烦一点儿，整体还是很简单的，随便找个教程都ok。 常用操作 # 查...原创 2019-10-20 14:28:19 · 88755 阅读 · 1 评论 -
哈工大LTP-Linux下Docker安装及window下安装-简单快捷
一：Docker安装官方文档：http://ltp.ai/docs/install.html一：从GitHub-ltp：https://github.com/HIT-SCIR/ltp项目中获取Dockerfile文件二：docker build -t ltp/ltp . # 由于网络原因可能中途失败。多执行几次即可。三：在配置中给docker运行给予足够大的内存。我们这里设置了...原创 2019-03-05 19:49:04 · 86536 阅读 · 0 评论 -
jupyter notebook Kernel Died: cannot import name 'create_prompt_application'问题（Died Kernel）
在pip安装其它模块的时候，根据其版本需求，安装了 prompt-toolkit 的更高版本比如：我是pip installpy2neo 的时候，py2neo所需的prompt-toolkit~=2.0.7 ，导致jupyter出现问题而jupyter需要的版本较低，所以重新安装一下低版本的prompt-toolkit即可pip install --upgradeprompt-...原创 2019-10-19 09:00:44 · 86226 阅读 · 0 评论 -
List排序，sort() 和sorted() 及 operator中 itemgetter和attrgetter的使用(未完待续)
1、 L.sort(key=None, reverse=False)2、sorted(iterable, /, *, key=None, reverse=False) 返回一个新列表， 其中包含按升序排列的iterable中的所有项。 可以提供自定义键函数来自定义排序顺序， 可以将反转标志设置为降序。2.1、普通列表排序...原创 2019-05-04 18:58:37 · 86570 阅读 · 0 评论 -
PyCharm配置自动配置文件头注释
1、file - setting - Editor - File and Code Templates - Files - Python Script2、添加自己需要的头注释，效果图如下：# encoding: utf-8# Author : Davide<forever.suwei@gmail.com ># Datetime : ${DATE} ${TIME}#...原创 2019-05-03 22:15:00 · 87261 阅读 · 0 评论 -
Python国内镜像地址及weindows下包下载地址
https://www.lfd.uci.edu/~gohlke/pythonlibs/1. 官网：https://pypi.python.org/simple/2.清华镜像https://pypi.tuna.tsinghua.edu.cn/simple/3.豆瓣镜像https://pypi.doubanio.com/simple/4. windows包下载...原创 2019-03-20 22:09:16 · 87009 阅读 · 0 评论 -
python执行Linux命令，连续执行多条Linux命令 ,os.system和os.popen
个人笔记： python 文件单独执行文件注意要在终端中执行命令：python test.pyos.system(cmd) 返回值为0：代表成功；1：代表失败os.popen(cmd) 将执行结果返回，但是测试表示并没有，具体原因后期记得更新连续执行多条命令os.popen("cd.. && cd demo && touch 2.py ")...原创 2019-01-16 21:01:32 · 98962 阅读 · 0 评论 -
python 表情符号转义，特殊符号转义，过滤四字节字符 表情字符
普通的转义不说了，简单的转义即可今天碰到了表情付哈入库，很烦，发现一个第三方库，很简单即可将表情字符删除 emoji官网，https://pypi.org/project/emoji/（靠谱的emoji处理库）安装 pip install emoji清除命令：emoji.demojize(str) ...原创 2019-01-16 15:16:29 · 88242 阅读 · 1 评论 -
python中的装饰器的使用实战
1、装饰器的理解装饰器是将一个函数镶嵌在另一个函数中进行重复使用的目的，不改变其结构，增加函数的使用方式，但是不用写过多冗余的代码；装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。通常用到的功能：1.引入日志；2.函数执行时间统计；3.执行函数前预备处理；4.执行函数后清理功能；5.权限校验；6.缓存2、...原创 2019-06-18 16:46:55 · 86534 阅读 · 0 评论 -
pymongo操作简单实战
python操作mongo，那就pymongo了，不废话 直接开始：安装： pip install pymongo使用：from pymongo import MongoClient# root:用户名；123456：密码;该用户拥有该库的读写权限mongoIP = 'mongodb://root:123456@192.168.xxx.xxx:27017' mongoNam...原创 2019-06-18 17:26:03 · 86405 阅读 · 0 评论 -
Superset源码安装+Docker安装笔记
主要功能： 丰富的数据可视化集 易于使用的界面，用于探索和可视化数据 创建和共享仪表板 与主要身份验证提供程序集成的企业级身份验证（通过Flask AppBuilder进行数据库，OpenID，LDAP，OAuth和REMOTE_USER） 可扩展的高粒度安全/权限模型，允许谁可以访问各个功能和数据集的复杂规则 一个简单的语义层，允许用户通过...原创 2019-07-08 15:02:09 · 87303 阅读 · 1 评论 -
Mac下pip设置下载超时时间及国内镜像
（1）阿里云 http://mirrors.aliyun.com/pypi/simple/（2）豆瓣http://pypi.douban.com/simple/（3）清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/（4）中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/（5）华中科技大学http://...原创 2019-07-08 16:51:54 · 88052 阅读 · 0 评论 -
python pip安装包导入导出及下载包（只下载不安装）
1、将pip安装的包导出导文件列表pip freeze > requirements.txt2、pip批量安装包及通过列表文件安装pip install -r requirements.txt3、下载pip包-通过列表文件批量下载pip包单个包：栗子pip download numpy批量：pip download -r requirements.tx...原创 2019-07-06 20:46:48 · 92799 阅读 · 1 评论 -
centos7安装Python3及出现BUG记录
一、安装（傻瓜式）1、mkdir /usr/local/python32、cd /usr/local/python33、wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz4、yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sq...原创 2019-08-09 16:49:32 · 86197 阅读 · 0 评论