
python开发笔记
实际开发过程中遇到的问题笔记
老糊涂Lion
学无止境。
展开
-
简写省份名称与拼音省份名称的字典 python
python,中国省份简称与省份全称的拼音,数据类型dict原创 2023-08-04 13:36:12 · 542 阅读 · 0 评论 -
self.logger.info(f“start req url:{req.url}“) SyntaxError: invalid syntax,scrapy启动报错
1、具体报错如下:Traceback (most recent call last): File "/usr/local/bin/scrapy", line 8, in <module> sys.exit(execute()) File "/usr/local/lib/python3.5/dist-packages/scrapy/cmdline.py", line 149, in execute cmd.crawler_process = CrawlerProcess(原创 2022-05-19 11:19:08 · 1095 阅读 · 0 评论 -
scrapy安装报错KeyError: ‘scrapy‘,File “/usr/local/lib/python3.5/dist-packages/pip/_vendor/resolvelib/res
Traceback (most recent call last): File "/usr/local/lib/python3.5/dist-packages/pip/_vendor/resolvelib/resolvers.py", line 171, in _merge_into_criterion crit = self.state.criteria[name]KeyError: 'scrapy'原创 2022-05-18 15:51:48 · 1138 阅读 · 0 评论 -
python中bytes(字节)与str(字符串)之间的类型转换
字节转换成字符串,如下:bytes1 = b'i am bytes' # 是字节,验证类型print(type(Bytes_str)) str_1 = Bytes_str.decode('utf-8') # str_1是字符串类型,转换类型print(type(str_1)) # 验证类型字符串转换成字节,如下:str2 = 'i am str' # 创建字符串,并查看类型print(type(str2)) bytes1 = str2.encode() # 转换类型,并验证原创 2022-05-13 10:07:52 · 16521 阅读 · 0 评论 -
python异常处理,finally和raise函数的使用
1、普通异常处理try: passexcept Exception as e: print("程序报错了",str(e))2、多层异常处理try: dict = {"name": "jj"} dict['pwd']except KeyError as e: # 仅捕获一类错误,可以存在多个单一错误的捕获程序 print("字典中的key错误")except Exception as e: # Exception所有报错都能捕获 print("原创 2022-04-20 17:04:27 · 1064 阅读 · 0 评论 -
Django-redis的使用
Django-redis的使用1、安装django-redispip install diango-redis2、settings.py文件代码CACHES = { 'default': { 'BACKED': 'django_redis.cache.RedisCache', 'LOCATION': 'redis://127.0.0.1:6379', # 安装redis的主机IP和端口 'OPTIONS': { 'C原创 2021-10-13 15:31:09 · 424 阅读 · 0 评论 -
Flask Web框架中接口请求数据转变成字典类型,ImmutableMultiDict类型转变成(dict)字典类型(python)
flask请求数据中的ImmutableMultiDict类型转变成dict类型可以方便的存储到数据库中。原创 2021-03-08 15:16:42 · 7049 阅读 · 0 评论 -
scrapy_redis的settings配置项作用于用法
【代码】scrapy_redis的settings配置项作用于用法。原创 2020-12-30 17:05:09 · 6690 阅读 · 0 评论 -
findbugs安装和使用
一、概述FindBugs 是一个静态分析工具,它检查类或者 JAR 文件,将字节码与一组缺陷模式进行对比以发现可能的问题。可以与SonarQube、Jenkins、IDE结合使用.二、安装1、在线安装(1)SonarQube插件安装(2)配置–>应用市场–>插件搜索(findbugs)–>安装2、离线安装(1)下载jar包,选择最新版本https://binaries.sonarsource.com/Distribution/sonar-java-plugin/原创 2020-12-30 16:30:55 · 6366 阅读 · 0 评论 -
python os库用法总结
1、获取路径方法import os# 获取绝对路径abs_path = os.path.abspath(__file__)# 文件所在位置的目录部分list_path = os.path.dirname(abs_path)#项目根目录root_path = os.path.dirname(list_path)# 目录拼接(可以有多个路径拼接,绝对路径放在第一位,拼接成功会自动加“\ or /”)file_path = os.path.join(list_path, 'data', '原创 2020-12-30 16:22:58 · 7705 阅读 · 0 评论 -
scrapy_redis结合redis如何更换redis库,指定redis db(默认使用redis db0)
scrapy_redis 指定db出于某种原因,redis 0库被占用,所以scrapy_redis必须要去指定连接的db.这里记录两种方式来指定db. (均是在settings中更改)REDIS_URLREDIS_URL = 'redis://127.0.0.1:6379/11'(REDIS_URL 就是用于爬虫来读取redis 数据库的)REDIS_PARAMS (scrapy_redis 默认有 REDIS_PARAMS 这个参数,且会自动将你的 REDIS_PARAMS 用你的指定原创 2020-12-30 16:09:54 · 6981 阅读 · 1 评论 -
scrapy中代理设置
Scrapy 添加代理1、重写start_requests方法def start_requests(self): for url in self.start_urls: yield scrapy.Request(url,callback=self.parse, meta={'proxy':'http://127.0.0.1:7777'})2、修改下载中间件,在process_requests方法中添加代理,或者重写DownloaderMiddleware类并添加process原创 2020-12-30 16:14:36 · 7613 阅读 · 0 评论 -
httprunner踩坑之路
httprunner踩坑1、get接口参数使用params传入,例如:name: get_stroy_contentbase_url: http://xxx.xxx.xx.xx:xxxxvariables: expected_status_code: 200 expected_msg: "request successfully"request: url: /...原创 2019-08-29 17:43:38 · 2077 阅读 · 0 评论 -
Locust class的属性和学习使用(学习总结2)
写一个locustfilelocustfile是一个普通的python文件。惟一的要求是它声明至少一个类(我们称它为locust类),该类继承自该类locust。Locust classLocust 类表示一个用户(或者一个群集的Locust )。Locust 将为每个被模拟的用户生成(孵化)Locust 类的一个实例。Locust 类通常应该定义几个属性。1、task_set 属...原创 2019-09-17 16:07:04 · 286 阅读 · 0 评论 -
Locust(python)性能测试库的安装与使用(学习总结1)
1、Locust是什么?Locust是一个易于使用的分布式用户负载测试工具。它用于负载测试web站点(或其他系统),并计算出一个系统可以处理多少并发用户。这个想法是,在测试期间,一群Locust会攻击你的网站。每个Locust(或者测试用户)的行为由您定义,集群过程由web UI实时监控。这将帮助您在让真正的用户进入之前进行测试并识别代码中的瓶颈。Locust完全基于事件,因此可以在一台机...原创 2019-09-17 15:43:08 · 496 阅读 · 0 评论 -
pytest-random-order插件的使用(简单实现随机测试)
1、pytest-random-order插件的安装pip install pytest-random-order最底部出现successfully证明安装成功2、快速启动pytest --random-orderpytest --random-order-bucket=<bucket_type>pytest --random-order-seed=(1)pytest...原创 2019-10-14 12:26:28 · 1120 阅读 · 0 评论 -
Pytest框架参数化
一、pytest参数化方式@pytest.fixture(),此参数化装饰的函数可以作为参数传入其他函数@pytest.mark.parametrize() ,此参数化方法支持传入单个参数或多个参数。本文主要介绍第二种参数化方式二、参数化详解单个参数@pytest.mark.parametrize(“参数名称”,lists or tuple or dict) ,传入...原创 2019-07-18 11:50:13 · 1211 阅读 · 0 评论 -
scrapyd+scrapydweb部署和监控分布式爬虫项目(同一台机器)
1、安装部署scrapyd系统:centos7.6安装命令:pip3 install scrapyd(因为本地有2.7+和3.+版本python)安装成功后新建配置文件:sudo mkdir /etc/scrapydsudo vim /etc/scrapyd/scrapyd.confscrapyd.conf 写入如下内容:(给内容在https://scrapyd.readthedo...原创 2019-12-06 17:48:48 · 561 阅读 · 0 评论 -
登录并爬取评论和用户内容
学习目标**4.1 ** 实战大项目 实战大项目:模拟登录丁香园,并抓取论坛页面所有的人员基本信息与回复帖子内容。 丁香园论坛:http://www.dxy.cn/bbs/thread/626626#626626。 参考资料:https://blog.youkuaiyun.com/naonao77/article/details/88316754(Task7的参考资料,任务结...原创 2019-05-16 18:32:36 · 605 阅读 · 0 评论 -
爬虫学习Task2
一、学习目标:2.1 学习beautifulsoup 学习beautifulsoup,并使用beautifulsoup提取内容。 使用beautifulsoup提取丁香园论坛的回复内容。 丁香园直通点:http://www.dxy.cn/bbs/thread/626626#626626。 参考资料:https://blog.youkuaiyun.com/wwq114/...原创 2019-05-13 22:03:34 · 149 阅读 · 0 评论 -
djangorestframework安装失败,报错SSL :CERTIFICATE_VERIFY_FAILED
问题描述题主使用pip install djangorestframework命名安装报错,具体报错原因未能留下证据,在百度其他文章时使用此命令安装成功:解决问题命令pip --trusted-host pypi.python.org install djangorestframework原答案题主的问题报错使用pip按照virtualenv报错,如下:pip install dja...转载 2020-02-24 10:43:22 · 666 阅读 · 0 评论 -
Django获取models(数据库)中的中文列名和英文列名
from django.db.models.loading import get_modeldef get_columu(appname,modelname): modelobj = get_model(appname,modelname) field_list=[] for field in modelobj._meta.fields: fiel...转载 2019-11-29 11:59:36 · 1698 阅读 · 0 评论 -
django2.2/mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3
报错:django2.2/mysql ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3环境:python3.7 django 2.2 pymysql 0.9.3解决:Django连接MySQL时默认使用MySQLdb驱动,但MySQLdb不支持Python3,因此这里将MyS...原创 2019-11-09 20:29:39 · 181 阅读 · 0 评论 -
Django框架ORM基本的增删改查(数据库操作),Django数据库操作
【代码】Django框架ORM基本的增删改查(数据库操作),Django数据库操作。原创 2019-11-08 16:44:32 · 271 阅读 · 1 评论 -
Django开发第一步
Django 开发入门1、Django组成部分笔记组成部分含义django-admin.py用于管理任务的命令行工具manage.py命令行使用工具,用户Django应用进行各种交互python manage.py runserver 127.0.0.1:80启动项目程序和端口manage.py createsuper创建超级用户python...原创 2019-10-30 11:48:49 · 149 阅读 · 0 评论