爬虫

1.爬虫：

一段自动抓取互联网信息的程序

1.URL、urllib2、BeautifulSoup...

• URL是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。
• urlib2 网页下载器
• beautifulsoup 网页解析器

爬虫可以从一个URL爬取所有关联的URL

2.简单爬虫架构：

3. URL管理器

* URL 管理器用于管理带抓取的URL集合和已抓取的URL集合——防止重复抓取、循环抓取

4. 网页下载器

• 网页下载器有 urllib2——python基础模块、 requests

1. 最简洁的方法

import urllib.request

#直接请求
response = urlib2.urlopen("heep://www.baidu.com")

#获取状态码，如果是200则表示获取成功
print response.getcode

#读取内容
cont = response.read()

2. WAY 2

5. 示例1

• r = requests.get("unsplash.com")

其实就是向网站发送一个get请求，然后网站会返回一个response，这里的r就是response

• get请求还可以传递参数：

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.get("httpbin.org/get", params=payload)

上面代码向服务器发送的请求中包含了两个参数key1和key2，以及两个参数的值。实际上它构造成了如下网址： httpbin.org/get?key1=va…

6. BeautifulSoup4

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象。所有对象可以归纳为4种类型:Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象。所有对象可以归纳为4种类型: Tag , NavigableString , BeautifulSoup , Comment 。

创建对象————搜索节点，分为find_all（所有节点）、find（满足条件的第一个节点）————访问节点，即访问名称、属性、文字等

搜索节点按照节点名称——节点属性——节点文字 的顺序进行访问

提取标签的名字：tag.name

提取标签的属性: tag['attribute']

7. 示例2

打印三个链接 （因为用的是find_all()）

再看这个，打印的只有lacie的链接，因为用的是find()，只打印某一条

转载于:https://juejin.im/post/5c96da6c6fb9a070b33c59f7