super2feng博乐世界

爬虫博客参考开源模块：requestsresponse = requests.get(“url”)response.textresponse.contentresponse.encoding = response.apparent_encoding # 使用网站编码response.status_coderesponse.cookies.get_dict()reque...

爬虫博客参考下载Linux：pip3 install scrapyWindowsa. pip3 install wheelb. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedc. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64....

celery异步任务参考博客在Linux下安装：pip install celery（安装redis：yum install redis-server）据说celery在Windows不好使小栗子：task1.pyfrom celery import Celeryimport timeapp = Celery( 'tasks', # 任务名 ...

正则匹配xpathlxmlbs4

数据抓包去重 & 持久化存储

import random

timeimport time 时间表示方法： 1–> 时间戳：time.time() 2–> 元组形式：time.localtime(): UTC+8 time.gmtime(): 标准时区(UTC) 元组形式->时间戳：time.mktime() 3–> 格式化字符串：strftime(“格式”,struct_time) —>输出”格式化的字符串” strptime

import os