用python 爬取百度百科内容-爬虫实战(一) 用Python爬取百度百科

最近博主遇到这样一个需求：当用户输入一个词语时，返回这个词语的解释

我的第一个想法是做一个数据库，把常用的词语和词语的解释放到数据库里面，当用户查询时直接读取数据库结果

但是自己又没有心思做这样一个数据库，于是就想到了百度百科这么一个现成的 “数据库”

下面我们就通过 urllib 和 xpath 来获取百度百科的内容

1、爬取百度百科

百度百科是一个静态网页，爬取起来很简单，而且请求参数可以直接放在 URL 里面，例如：

可以说是十分方便，也不多说，直接放代码，有不明白的地方可以看看注释：

如果对于 urllib 的使用不太清楚，可以参考 爬虫系列(三) urllib的基本使用

如果对于 xpath 的使用不太清楚，可以参考 爬虫系列(九) xpath的基本使用

import urllib.request

import urllib.parse

from lxml import etree

def query(content):

# 请求地址

url = 'https://baike.baidu.com/item/' + urllib.parse.quote(content)

# 请求头部

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) App