Python
关注
分享
扫一扫
文章平均质量分 53
沁心之贝
没事撬敲代码
展开
-
Python 通过URL打开图片
img_src = ‘https://i.ytimg.com/vi/Cn6Tw5Ilwo0/maxresdefault.jpg’1. OpenCV# OpenCV的imread()只能加载本地的图片，并不能通过网址加载图片。但是，opencv的VideoCapture类可以从url加载视频，如果只用opencv，可以先用VideoCapure加载网络图片，然后再传给Matimport cv2cap = cv2.VideoCapture(img_src)if( cap.isOpened() ) .原创 2022-02-25 09:50:05 · 3911 阅读 · 0 评论 -
logging日志管理学习
logging使用方法一(模块级别函数basicConfig)日志级别有哪些？日志等级描述DEBUG最详细的日志信息，典型应用场景是 问题诊断INFO信息详细程度仅次于DEBUG，通常只记录关键节点信息，用于确认一切都是按照我们预期的那样进行工作WARNING当某些不期望的事情发生时记录的信息（如，磁盘可用空间较低），但是此时应用程序还是正常运行的ERROR由于一个更严重的问题导致某些功能不能正常运行时记录的信息CRITICAL当发生严重错误，导原创 2021-09-13 10:00:08 · 535 阅读 · 0 评论 -
爬虫好搭档之 pyquery
安装pip3 install pyqueryHtml初始化from pyquery import PyQuery as pqs = '<html><title>PyQuery Html初始化<title></html>'doc = pq(s)print(doc('title'))URL网址初始化from pyquery import PyQuery as pqurl = 'https://www.baidu.com/'doc.原创 2021-06-04 09:45:37 · 184 阅读 · 0 评论 -
爬虫好搭档之 w3lib
获取html编码from w3lib import encodingstr_html = '''<!--meta--><meta charset=utf-8>£<!--这是注释-->'''print(html.remove_comments(str_html))head编码from w3lib import encodingprint(encoding.http_content_type_encoding("Content-Ty原创 2021-05-06 13:49:29 · 423 阅读 · 0 评论 -
mitmproxy
介绍技术特性适用场景说明mitmproxy跨平台、基于python抓包官网 Doc Github 示例安装pip3 install mitmproxy使用启动代理# 方式一：在8080端口上运行一个代理服务mitmproxy ## 或者指定端口mitmproxy -p 8888# 方式二：启动mitmdump，它也会监听8080端口mitmdump## 执行自定义脚本mitmdump -s script.py# 方式3：启动一个 web 界原创 2020-12-15 10:53:06 · 360 阅读 · 0 评论 -
pandas 遍历Dataframe
iterrows(): 按行遍历，将DataFrame的每一行迭代为(index, Series)对，可以通过row[name]对元素进行访问。itertuples(): 按行遍历，将DataFrame的每一行迭代为元祖，可以通过row[name]对元素进行访问，比iterrows()效率高。iteritems():按列遍历，将DataFrame的每一列迭代为(列名, Series)对，可以通过row[index]对元素进行访问。示例数据import pandas as pdinp = [{.原创 2020-10-22 10:19:36 · 215 阅读 · 0 评论 -
Python 安装 mysqlclient、mysql-mython
如果您的目标机器mysql是编译安装的请阅读下文，如若不是请使用yum 安装相关mysql组件错误提示[root@hinink /]# pip3 install mysqlclientLooking in indexes: http://pypi.douban.com/simpleCollecting mysqlclient Downloading http://pypi.doubanio.com/packages/a5/e1/e5f2b231c05dc51d9d87fa5066f90d14.原创 2020-08-06 17:11:47 · 503 阅读 · 0 评论 -
手机(小米系列)不能安装mitmproxy 证书怎么办
安卓版本7+并且微信版本7+ 使用mitmproxy也不能代理请求怎么办？究其缘由是微信调整了如下安全证书策略：为什么策略 C 不能代理了？参考资料提到默认情况下，针对 Android 7.0 (API level 24) 的应用不再信任用户或管理员添加的CA证书来进行安全连接。（之前我们其实是将安全证书安装到安卓手机上作为用户信任安全证书，新版本如果APP开启了.原创 2020-07-08 11:23:16 · 3070 阅读 · 0 评论 -
python 文件操作
判断文件/文件夹是否存在import osos.path.exists("test_file.txt") #判断当前目录中是否存在某文件os.path.exists("data")#判断当前路径下是否存在data文件夹判断文件/文件夹是否可读写注释：path是文件或文件夹的路径；mode：是文件或文件夹的读或写等属性，具体如下：os.F_OK: 检查文件或文件夹是否存在;os....原创 2020-04-24 14:01:04 · 331 阅读 · 0 评论 -
pyppeteer(三) 小红书PC滑动破解（数美验证码）
【代码】pyppeteer(三) 小红书PC滑动破解（数美验证码）原创 2020-06-24 17:47:49 · 6442 阅读 · 11 评论 -
pyppeteer(二) 淘宝滑动破解
import asyncioimport time,randomfrom pyppeteer.launcher import launch # 控制模拟浏览器用from retrying import retry #设置重试次数用的async def main(username, pwd, url):# 定义main协程函数， #以下使用await 可以针对耗时的操作进行挂起 ...原创 2020-03-23 11:23:35 · 3115 阅读 · 2 评论 -
pyppeteer(一)--简介
别只用 Selenium，新神器 Pyppeteer 绕过淘宝更简单！原创 2020-03-23 10:44:01 · 424 阅读 · 0 评论 -
pyppeteer报错解决和相关问题解决
1. 报错1：Most likely the page has been closedpyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.使用pyppeteer采集京东的时候,总数到7~8页...原创 2020-03-20 15:38:30 · 1592 阅读 · 0 评论 -
爬虫随机UA
安装pip3 install fake-useragent各浏览器的user-agent值from fake_useragent import UserAgentua = UserAgent()#ie浏览器的user agentprint(ua.ie)Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)#opera...原创 2020-03-11 09:37:33 · 330 阅读 · 0 评论 -
python 异常
最近在 PyCharm 中写代码的时候会抱怨 Exception 没有指定错误类型Too broad exception clause...这是因为捕获的异常过于宽泛，没有针对性，可以通过指定精确的异常类型来解决解决1. 关闭编译器中代码检测中有关检测 Exception 的选项2. 在 try 语句前加入 # noinspection PyBroadException 即可...原创 2020-01-13 11:34:08 · 476 阅读 · 2 评论 -
python 日期加减
# -*- coding: utf-8 -*-#-----------------------------------------------------------------------------------import datetime#获取366天前的日期day=(datetime.date.today() - datetime.timedelta(days=366)).str...原创 2020-01-07 11:03:57 · 136 阅读 · 0 评论 -
selenium的三种等待方式
1. 强制等待# -*- coding: utf-8 -*-from selenium import webdriverfrom time import sleepdriver = webdriver.Firefox()driver.get('https://huilansame.github.io')sleep(3) # 强制等待3秒再执行下一步print driver.c...原创 2019-12-23 14:59:40 · 218 阅读 · 0 评论 -
常用正则表达式
"""正则表达式"""import restr = "test@163.com"# 匹配所有邮箱# f = re.match("^\w{4,20}@\w+\.com$",str)# 匹配qq或163邮箱# f = re.match("\w{4,20}@(qq|163)\.com",str)# 匹配<div><span>python<...原创 2019-12-06 13:34:08 · 165 阅读 · 0 评论 -
Python 操作redis有序集合(sorted set)
#coding:utf8import redisr =redis.Redis(host="23.226.74.190",port=63279,password="66666666666")1.ZaddZadd 命令用于将一个或多个成员元素及其分数值加入到有序集当中。 如果某个成员已经是有序集的成员，那么更新这个成员的分数值，并通过重新插入这个成员元素，来保证该成员在正确的位置上。 分数值...原创 2019-11-29 18:02:10 · 1268 阅读 · 0 评论 -
Python3的urllib.parse常用函数小结
1、获取url参数from urllib import parseurl = 'https://docs.python.org/3.5/search.html?q=parse&check_keywords=yes&area=default'parseResult = parse.urlparse(url)print(parseResult)# ParseResult(s...原创 2019-11-08 17:52:08 · 380 阅读 · 0 评论 -
python判断变量是否为int、字符串、列表、元组、字典等方法
#!/usr/bin/env pythona = 1b = [1,2,3,4]c = (1,2,3,4)d = {'a':1,'b':2,'c':3}e = "abc"if isinstance(a,int): print "a is int"else: print "a is not int"if isinstance(b,list): print "b ...原创 2019-10-09 12:15:08 · 280 阅读 · 0 评论 -
django关闭debug后，静态文件的处理
Django框架仅在开发模式下提供静态文件服务。当我开启DEBUG模式时，Django内置的服务器是提供静态文件的服务的，所以css等文件访问都没有问题，但是关闭DEBUG模式后，Django便不提供静态文件服务了。1.使用django.views.static.serve()方法。在URLconf中添加：编辑usrs.py，在最后添加如下代码：from django.conf...原创 2019-09-04 15:39:42 · 278 阅读 · 0 评论