小二温华

Scrapy的介绍和安装 Scrapy是纯python开发的一个高效，结构化的网页抓取框架； Scrapy是一个为了爬取网站数据，提高结构性数据而编写的应用框架。其最初是为了页面抓取(更确切地来说，网络抓取)所涉及的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services)或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘，检测和自动化测试。...

前面已经了解过，爬虫具有两大难点：一是数据的获取，二是采集的速度，因为会有很多的反爬(js)措施，导致爬虫并没有想象中那么容易。在python中，我们使用requests库作为核心，谷歌浏览器的检查工具作为辅助，学习如何编写爬虫。既然我们爬取的对象是网页，那自然少不了对网页的解析这一个关键阶段。所以我们接下来将学习解析王爷的python库。 BeautifulSoup BeautifulSoup是...

HTTP 所谓的http代理，其实就是代理客户机的http访问，主要代理浏览器访问页面。 代理服务器是介于浏览器和Web服务器之间的一台服务器，有了它以后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。 socket 大 import socket import re # 创建一个服务...

回顾cookie和session requests库的介绍 requests库基于上一篇学习的urllib库，但是比urllib库更加简单，优雅，使用起来更加方便。 Requests是一个优雅而简单的python http库，是有史以来下载次数最多的python软件包之一，每天下载量超过400,000次。 之前的urlib库作为python的标准库，因为历史原因，使用的方式非常麻烦而复杂，而且官方...

理解虚拟机的使用 由于服务器的开发往往是基于linux系统的，例如Ubuntu，Centos等等，所以如果我们是windows操作系统的个人电脑，利用虚拟机来进行相关后端的学习是非常有好处的，这里只陈述在开发时物理机和虚拟机的python文件的逻辑关系。 本地windows物理机需要有python解释器，pycharm； pycharm是对本地文件进行编辑的； 虚拟Ubuntu机需要有python...

学习python的爬虫需要的基础知识 python语言基本知识 python环境配置的基本知识 python面向对象的基本知识 正则表达式 http与https协议 学习应用层协议http和https需要知道的常见的应用架构 c/s client server 客户端 服务端 ：网络游戏 b/s browser server 浏览器 服务端 ：淘宝，天猫 m/s mobile serv...