网络爬虫基础练习

最新推荐文章于 2022-04-08 11:03:41 发布

weixin_30412167

最新推荐文章于 2022-04-08 11:03:41 发布

阅读量89

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/126lc/p/8668838.html

本文通过实战演示如何使用Python的requests和BeautifulSoup库抓取网页中的特定元素，包括h1标签文本、a标签链接及列表项等内容，并进一步提取了新闻的具体信息如标题、链接、发布时间和来源。

5.练习：

取出h1标签的文本

import requests

from bs4 import BeautifulSoup
url='http://localhost:63342/bd/rua.html?_ijt=u21vkhk5ujorshtgcta6r0t380'
res=requests.get(url)
res.encoding='utf-8'
# print(res.text)
soup=BeautifulSoup(res.text,'html')
print(soup.h1)

取出a标签的链接

print(soup.a)

取出所有li标签的所有内容

soup=BeautifulSoup(res.text,'html')
for i in soup.select('li'):
    print(i)

取出一条新闻的标题、链接、发布时间、来源

print(soup.select('.news-list-title')[0].text)
print(soup.select('li')[1].a.attrs['href'])
print(soup.select('.news-list-info')[0].contents[0].text)
print(soup.select('.news-list-info')[0].contents[1].text)