python 爬取百度百科

菜鸡成长之路

于 2019-02-08 21:45:31 发布

阅读量1.5k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Python 爬虫文章标签： python 爬虫百度百科

本文链接：https://blog.youkuaiyun.com/sinat_40477296/article/details/86777111

Python 同时被 2 个专栏收录

1 篇文章

订阅专栏

爬虫

1 篇文章

订阅专栏

本文介绍了一种使用Python从百度百科爬取词条内容的方法。通过发送HTTP请求并解析返回的HTML，提取词条的详细信息，去除无关字符，最终输出干净的词条内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import re
from urllib import request
from urllib.parse import quote
from bs4 import BeautifulSoup as sp

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0','Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'}
bracket = re.compile(r'\[\d*]')


def look_up(entry):
    url = "https://baike.baidu.com/item/" + quote(entry)
    req = request.Request(url, headers=header)
    html = request.urlopen(req).read()
    soup = sp(html, "html.parser")

    content=soup.findAll('div',{'class':'para'})
    for i in content:
        i=i.get_text()
        i=i.replace('\n','')
        i=i.replace('\r','')
        i=re.sub(bracket,'',i)
        print(i)
look_up("高等数学")