zx的博客

记录一个aiohttp的大坑，aiohttp请求不成功,而requests可以差异：1.requests发请求的时候会自动对headers进行排序，但是aiohttp不会如果有些平台会对headers顺序检测的时候，就会出现问题requests请求的时候的url发请求的时候url填的是，那么真实请求的时候就会是什么但是！！！aiohttp就不一样！！！！aiohttp会把冒号、逗号等字符有解码回来！有写网站会对url进行签名，这时候，aiohttp发请求时候的url做了转换，那么签名一

自己写的一个比较好用的线程等待代码模板,python3环境下我的应用场景：在拨号爬虫的时候，重新拨号之后数据库的连接会出现异常，所以需要用到简介:A是爬虫线程，B是写控制爬虫线程什么时候停止，然后运行一些其他脚本的线程代码中主要运行逻辑我用的sleep代替import randomimport timeimport threadingclass A(threading.Thread): def __init__(self,thread_id,event): super(

import timeimport signalimport threading, signalis_exit = Falsedef doStress(i, cc): global is_exit idx = i while not is_exit: if (idx < 10000000): print("thr...

双输入模型的构建from keras.models import Modelfrom keras import layersfrom keras import Inputtext_vocabulary_size=10000question_vocabulary_size=10000answer_vocabulary_size=5000#参考文本的输入text_input=In...

import timefrom threading import Threadimport asyncioclass bankcrawl_model(): def __init__(self): self.status="sleeping" def login(self): self.status="logging" pri...

前提：tensorflow --1.13.1numpy --1.16.2python --3.6.5本例转换 泰坦尼克号数据集链接 密码：n8wz数据预览：字段说明：PassengerId ，乘客的id号，这个我觉得对生存率没影响。因为一个人的id号不会影响我是否生存下来吧。这列可以忽略Survived ,生存的标号，上面图的数值1表示这个人很幸运，生存了下来。数值0，...

直接抛源代码环境需求:pip install pycryptodomeimport base64from cryptography.hazmat.primitives import paddingfrom cryptography.hazmat.primitives.ciphers import algorithmsfrom Crypto.Cipher import AESfrom ...

前提：这段代码只适用于对数据分析有简单的基础认识者data是样本数据集，target是对应的样本目标1. 分析特征值如果特征值过多，将不需要的特征值删减，保留有影响或者影响较大的特征值2. 分解data和target如果target目标值的数据量差异巨大可以使用过采样，也就是将训练集样本量小的目标数据扩大，3. 交叉验证4. 模型参数自动调优决策树、梯度提升树决策树from...

一、爬小说scrapy startproject democd demoscrapy genspider novel设计mysql表结构如下：1.存放书的表create table novels_item(novel_id int auto_increment primary key,novel_name varchar(20));2.存放章节和章节内容的表create t...

一. 准备工作：创建一个模块master包含spider文件，再创建一个模块slaver包含spider.py文件和models.py文件master下的spider.py文件用于发布任务，即将需要爬取的url地址存放在redis中，slaver中的spider文件用于分布式提取redis中的url并且解析内容存放在mysql数据库中master\spider.pyslaver\spid...

js = "var q=document.body.scrollHeight;return (q)"res=driver.execute_script(js)for i in range(res//800+1): js = "window.scrollTo("+str(i*800)+","+str(i*800+800)+")" driver.execute_script(js)...

一、分析淘宝页面中的商品都是用js动态加载的，所以使用selenium模块抓取内容1.首先分析如何用关键字搜索内容2.打开浏览器3.然后分析页面结构，抓取信息4.其次获取商品具体信息的话需要打开二级页面5.需要找到下一页的按钮用于模拟点击下一页，从而获取所有页面的相关信息二、开始操作1.首先分析如何用关键字搜索内容注意到页面的规律为https://s.taobao.com/sea...

首先创建普通py文件内容如下: import scrapy class Demo(scrapy.Spider): name="demo" def start_requests(self): urls = ['https://www.qidian.com', "https://www.baidu....

使用selenium抓取小说内容创建一个browser对象，用chrome启动from selenium import webdriver直接启动会报错“ Message: ‘chromedriver’ executable needs to be in PATH”使用这个的前提要安装一个chromedriver.exe放在项目下，去网上找与你的chrome对应的版本browser=...

一、 导入模块import timefrom selenium import webdriverfrom lxml import etree本文章纯粹用来练手，于是我使用了etree,其实光使用find_elements…的方法也可以二、开始干活1.首先创建driver对象driver=webdriver.Chrome()2.打开网站driver.get("https://ww...

准备工作：安装python包管理工具（pip），安装虚拟环境（virtualenv），安装管理虚拟环境工具（virtualenvwrapper ） 一．安装pip 代码： 1. python2.7的pip安装：sudo apt install python-pip 2. python3的pip安装：sudo apt install python3-pip 查看pip的版本：pi...