qq_41879417的博客

今天爬取网站返回状态码521，经过分析发现是JS混淆加密，以下是具体破解代码： import execjs import re import requests import time url = 'http://www.mps.gov.cn/n2254536/n2254544/n2254552/n6636622/n6636639/c6641737/content.html' headers ...

import execjs import re import requests import time #测试url url = 'http://gaj.chifeng.gov.cn/default.php?mod=article&fid=230&s63642044_start=0' session = requests.session() #存储cookie respon...

scrapy定时爬取：每10分钟爬取一次 爬虫文件下新建main.py文件，代码如下： import os import time while True: print('启动爬虫程序.........') os.system("scrapy crawl spider") print('爬虫结束..........') time.sl...