LittleDragorse的博客

使用装饰器的基本知识与用法

matplotlib作图技巧

创建使用代理的无头浏览器 def get_driver(proxy={'ip': ip, 'port': port}): chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_options.add_argument('--proxy-server=h...

pdfplumber OMG！怎么会有这么好用的pdf解析包？ import pdfplumber pdf = pdfplumber.open(file_name) for page in pdf.pages: text = page.extract_text() 中文也好用！真是太强大了！ ...

文件及文件夹夹操作 以下path指路径名称，filename指文件名，-args指可用多种参数 文件夹操作 linux命令 作用 python调用 pwd 展示当前路径 cd path 切换文件夹 ls path 展示文件夹内容 os.listd......

目录 五大模块 Downloader Spider ItemPipeline Schedule Engine 四个配置参数 三个对象 scrapy.http.Request 常用属性 常用方法 Response 常用属性 常用方法 Item 两类中间件 DownloaderMiddleware SpiderMiddleware 五大模块 Downloa...

常用正则表达式 from re import compile percent = compile('([1-9]?[0-9]|100)%’) # 百分比 date = compile(r'20\d{2}-(0[1-9]|1[012])-(0[1-9]|[12]\d|3[01])’) time = compile("([01]\d|2[0-3]):([0-5]\d):([0-5]\d)") w...

针对以下各反爬手段的反制措施 Headers 最基本的反爬手段，一般被关注的变量是UserAgent和Refer，可以考虑使用浏览器里的。其中的ContentLength字段requests包会填写，可以不用。Content-Type字段是post表单的格式，必须和网站的一样。 UA 待续 拉黑高频访问IP 数据量大用IP池（伪装成多个访问者），爬取速度要求低用sleep()（伪装成人...

目录 BeautifulSoup 基础方法 基本元素 Tag Name Attributes NavigableString Comment 下行遍历 tag.contents tag.children tag.descendants 上行遍历 tag.parent tag.parents 访问平行节点 tag.next_sibling tag.next_...