python爬虫实践——爬取百度首页

原创于 2019-01-09 09:40:25 发布 · 4.4k 阅读

10 ·

CC 4.0 BY-SA版权

【Python】专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个使用Python和Xpath爬取百度首页新闻链接的简单示例，展示了如何利用requests库获取网页内容，以及使用lxml库解析HTML并提取新闻的名称和URL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写一个最简单的例子，爬取百度首页右上角的“新闻”链接的名称和其URL。

截取新闻的xpath,(F12,选择新闻两字，右击，选择Copy-Copy Xpath).(注意：若登录百度，相应xpath会改变，此为非登录状态)

在看例子前，建立了解下Xpath基础，如何定义网络页面的。

import requests
from lxml import etree

response = requests.get('https://www.baidu.com')

response.encoding='utf-8'

selector = etree.HTML(response.text)
news_text = selector.xpath('//*[@id="u1"]/a[1]/text()')[0]
news_url=selector.xpath('//*[@id="u1"]/a[1]/@href')[0]
print(news_text)
print(news_url)

输出：