网络爬虫基础练习

最新推荐文章于 2025-06-11 19:23:29 发布

weixin_30527423

最新推荐文章于 2025-06-11 19:23:29 发布

阅读量54

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/206cch/p/8672330.html

本文通过Python的requests和BeautifulSoup库展示了如何从QQ网站首页抓取新闻标题、链接及其它相关信息。具体包括：获取h1标签文本、a标签链接、li标签内容，并详细解析了特定元素的属性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup
res = requests.get('http://www.qq.com/')
res.encoding = 'UTF-8'
soup = BeautifulSoup(res.text, 'html.parser')

# 取出h1标签的文本
for h1 in soup.find_all('h1'):
    print(h1.text)
# 取出a标签的链接
for a in soup.find_all('a'):
    print(a.attrs.get('href'))
# 取出所有li标签的所有内容
for li in soup.find_all('li'):
    print(li.contents)
# 取出第2个li标签的a标签的第3个div标签的属性
print(soup.find_all('li')[1].a.find_all('div')[2].attrs)

# 取出一条新闻的标题、链接、发布时间、来源
print(soup.select('div .news-list-title')[0].text)
print(soup.select('div .news-list-thumb')[0].parent.attrs.get('href'))
print(soup.select('div .news-list-info > span')[0].text)
print(soup.select('div .news-list-info > span')[1].text)