python爬取百度新闻所有的新闻的前1页标题和URL地址

最新推荐文章于 2024-06-25 08:27:33 发布

原创

最新推荐文章于 2024-06-25 08:27:33 发布 · 6k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文分享了一段Python代码，用于爬取百度新闻首页的新闻标题和URL，经测试可运行，并附有运行效果截图。

这是我自己写的一个爬取百度新闻的一个代码，欢迎大家多来讨论，谢谢！(自己已经测试可以使用，在文章最后见效果图)

'''
re模板：2.2.1
requests模板：2.18.4
bs4模板：4.6.0
json模板：2.0.9
爬取百度新闻所有的新闻的前1页 标题和URL地址
'''
import requests
import json
from bs4 import BeautifulSoup
import re

#获得每页新闻标题和新闻地址
def getPageInfo(url,page):
    newurl=url + str(page)
    res = requests.get(newurl)
    jd = json.loads(res.text)
    list1 = jd['data']['list']
    it = iter(list1)
    for one in it:
        print(