用selenium爬取百度新闻

最新推荐文章于 2025-06-13 23:39:42 发布

原创

最新推荐文章于 2025-06-13 23:39:42 发布 · 3k 阅读

7 ·

CC 4.0 BY-SA版权

这段代码展示了如何使用selenium模拟浏览器行为，打开百度新闻首页，输入关键词进行搜索，并遍历搜索结果，抓取每页前20条新闻的标题、发布时间和网页内容，保存为json文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: UTF-8 -*-
from selenium.common.exceptions import TimeoutException, NoSuchElementException, WebDriverException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from bs4 import BeautifulSoup
import urllib.request
import io
import json
import os
import requests
import sys
#用selenium模拟浏览器行为打开chrome，打开新闻首页，输入关键词，点击，然后查找下一页
# import chardet
import re
def test_sel(keyword):
    driver = webdriver.Chrome()
    link = 'http://news.baidu.com/?tn=news'
    driver.get(link)
    try:
        WebDriverWait(driver, 30).until(
            EC.presence_of_element_located((By.ID, "ww"))
        )

    except TimeoutException:
        print ('加载页面失败')
    try:
        element = driver.find_element_by_css_selector('#ww')
        print ('成功找到了搜索框')
        keyword =