爬虫（定向爬虫）

最新推荐文章于 2021-02-03 23:00:07 发布

原创

最新推荐文章于 2021-02-03 23:00:07 发布 · 1.1k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了定向爬虫的概念，并详细讲解了如何实现一个定向爬虫，帮助读者理解其工作原理和技术要点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 什么是定向爬虫

定向爬虫是网络爬虫的一种。定向爬虫可以精准的获取目标站点信息。基于模版的信息提取技术，能提供更
加精准的信息

2. 定向爬虫的实现

2.1 导入第三方模块：
import requests
from bs4 import BeautifulSoup
import bs4

2.2 爬取网页内容：
def get_content(url,):
    try:
        user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36"
        response = requests.get(url,  headers={'User-Agent': user_agent})
        response.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常;
        response.encoding = response.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    else:
        print(response.url)
        print("爬取成功!")
        return  response.content

2.3 解析页面内容，获取所需要的信息：
def getUnivList(html):
    """解析页面内容， 需要获取: 学校排名， 学校名称， 省份， 总分"""
    soup = BeautifulSoup(html, 'lxml')
    # 该页面只有一个表格， 也只有一个tbody标签;
    # 获取tbosy里面的所有子标签, 返回的是生成器： soup.find('tbody').children