爬虫学习日记

参考博客：https://blog.youkuaiyun.com/aaronjny/article/details/77945329

 

由于想要学习爬虫，就从头搜索了很多东西，做个笔记顺便分享下

我用的是pycharm+py3.6

1、获取网页

首先需要requests库，在pycharm的settings里面比较容易就能下载，用pip install也可以，在这里就不赘述了

import requests

resp = requests.get("https://www.google.com")#获取网址首页
print(resp)#直接输出的是状态码，200代表正常，404明显是网址并不存在了，301是重定向
print(resp.content)#输出未经解析的网页源码

有点不太清楚，但是效果就是这样

2、对网页进行解析，我用的是beaufulsoup+lxml

import requests
from bs4 import BeautifulSoup

resp=requests.get('https://www.google.com') #请求首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码

bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
for a in a_list:
    print(a.get('href')) #打印a标签对象的href属性，即这个对象指向的链接地址

会出现很多链接，因为网页中的'a'标签对象很多就是链接

如果我们想新建一个文件存储这些链接的话

import requests
from bs4 import BeautifulSoup

resp=requests.get('https://www.google.com') #请求首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码

bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
text = ''#创建一个空字符串
for a in a_list:
    href = a.get('href')
    text += href+'\n'
with open('url.txt', 'w') as f:
    f.write(text)

 

3、接下来我们去抓取网页中的图片（正经一点，我们抓水墨风景图吧http://www.3lian.com/gif/2011/11-29/21276.html）

下次吧，今天有点累了