爬取百度搜索第一页子网页的（文章、时间和url），非文章的则截屏

最新推荐文章于 2025-01-12 09:36:16 发布

mr_xinL

最新推荐文章于 2025-01-12 09:36:16 发布

阅读量745

点赞数

分类专栏：爬虫文章标签： python

本文链接：https://blog.youkuaiyun.com/mr_xinL/article/details/105010557

版权

本文介绍如何爬取百度搜索第一页的子网页，针对含有文章内容的条目提取文字信息，非文章部分则进行截图处理。初步结果显示，成功爬取了百度百科的文本信息，而对网易云音乐的网页无法获取相关内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为了方便快速从百度搜索找到自己想要的信息，开始尝试。
第一步：爬取百度搜索第一页子网页的（文章、时间和url），非文章的则截屏
后面研究后更新。

import requests
from lxml import etree
import csv
import re
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
#对于不是文章的网址，进行后台截屏
options = Options()
options.add_argument('start-maximized')
options.add_argument('--headless')
options.add_argument('--disable-gpu')
#驱动路径path
#C:\Dsoftdisk\Chrome\Google\Chrome\Application
path = 'C:\Dsoftdisk\Chrome\Google\Chrome\Application\chromedriver.exe'
brow=webdriver.Chrome(executable_path=path, options=options)


#获取文章内容
url = 'http://www.baidu.com.cn/s?wd=周杰伦'+'&pn=0'
#其实只用user-agent也没问题 有的url仅用user-agent不行，读不出数据
head = {'pragma': "no-cache",
        'accept-encoding': "gzip, deflate, br",
        'accept-language': "zh