傲寒的博客

目录1. Scrapy功能扩展下载中间件设置随机请求头2. Scrapy实用技巧Scrapy模拟登录内置模块下载图片课堂笔记1. Scrapy功能扩展1.1 下载中间件下载中间件（Download Middlewares）：可修改爬取过程中的request和response，扩展scrapy的功能。Download Middlewares默认方法# 当每个request通过下载中间件时，该方法被调用def process_request(self, request

目录1. Scrapy基本结构Scrapy工作流程Scrapy框架构成2. Scrapy框架使用技巧logging日志模块scrapy.Request()应用Scrapy CrawlSpider引入课堂笔记1. Scrapy基本结构1.1 Scrapy工作流程Scrapy框架，是为了更方便快捷提取数据而编写的应用框架，只需要自己编写少量代码就可以数据爬取。Scrapy采用Twisted异步网络框架，提升了爬取速度。Scrapy基本工作流程1.2

目录1. 多任务-线程基本介绍多任务的理解线程完成多任务2. 锁的引入与应用互斥锁与死锁的引入线程同步 案例课堂笔记1. 多任务-线程基本介绍1.1 多任务的理解多任务，即我们所说的一心多用，如边开车时边听音乐…程序中模拟多任务import threadingdef drive(): for i in range(3): print('正在开车....')def music(): for i in range(3):

目录1. js2py基本介绍js2py简介js2py破解百度翻译sign2. selenium与phantomjs爬虫与反爬虫间的斗争动态HTML技术动态数据获取-selenium与phantomjs课堂笔记1. js2py基本介绍1.1 js2py简介js2py是纯Python实现的库，用于在python文件中运行js代码，实质是将js转换成python代码基本用法：import js2py# 等同于执行js代码console.log("hello world!"

目录1. Beautiful Soup简介什么是Beautiful SoupBeautiful Soup与lxml、正则的关系2. Beautiful Soup主要内容bs4的四种对象对DOM树模型基本操作课堂笔记1. Beautiful Soup简介1.1 什么是Beautiful SoupBeautiful Soup是一个可以从HTML/XML文件中提取网页数据的的提取库Beautiful Soup自动将输入文档以Unicode格式编码，输出文档以utf-8格式编码，一般

目录1. xpath简介什么是xpathxpath基本语法结构2. lxml模块基本用法课堂笔记1. xpath简介1.1 什么是xpathXPath（XML Path Language）是一种XML的查询语言，能在XML的树状模型中对结点进行查找xpath主要通过文档中结点的关键字或属性对结点内容进行定位xpath工具安装1.2 xpath基本语法结构语法作用nodeName选取nodeName下的所有结点/表示从根节点开始//选取根

目录1 正则表达式什么是正则表达式正则表达式分类2. re模块应用模块基本用法贪婪与非贪婪模式常用正则表达式课堂笔记1. 正则表达式1.1 什么是正则表达式正则表达式（regular expression）是一种工具，广泛用于对字符串格式的匹配。被匹配的字符串具有某种特征，正则就利用这种特征去进行匹配，如QQ邮箱格式 (数字+@qq.com)1.2 正则表达式...

目录1. urllib模块基本用法2. requests模块基本用法使用代理session与cookie区别课堂笔记1. urllib模块python2 ：urllib2、urllibpython3 ：把urllib和urllib2合并,urllib.request1.1 基本用法urllib.request.urlopen(“网址”) 作用 ：向网站发起一...

目录1. 通讯协议端口通讯协议2. 网络模型七层网络模型HTTP与HTTPS3. 爬虫简介爬虫须知概念爬虫分类4. 网页信息分析课堂笔记1. 通讯协议1.1 端口当计算机之间进行数据通讯时，应用程序为相互识别而被分配的编号，即端口号，又称逻辑端口一般数据通讯可分为： 获取对方IP 获取应用程序端口 规定通讯协议1.2 通讯协议...