python学习笔记（2）——获取多家公司的百度新闻并自动生成数据报告文本_实现在百度资讯频道获取多个公司(5个以内)多页新闻的代码(5页以内),将抓到的数据-优快云博客

本文链接：https://blog.youkuaiyun.com/Ama_tor/article/details/122765226

该代码段展示了一个Python爬虫程序，用于从百度新闻中抓取指定公司的新闻标题、发布日期、来源和链接。它遍历了阿里巴巴、万科、京东、恒大和碧桂园这五家公司的新闻，并将结果保存到一个名为'获取5家公司文档.txt'的文本文件中。每个新闻条目包括标题、日期、来源和链接，条目之间用分隔线隔开。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码练习：

import requests #引用requests库
import re#引用re库

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}#模拟浏览器访问强求，在谷歌浏览器输入about:version即可获取

url='https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&rsv_dl=ns_pc&word=%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4'#将网址赋值给变量url
res=requests.get(url,headers=headers).text #通过requests库的get()函数访问该网址，通过.text获取网页源代码的文本内容
#print(res)  #打印输出获取的网页源代码

#自定义函数,设置网址和代理
def baidu(company):
    url='https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&ie=utf-8&word='+company
    res=requests.get(url,headers=headers).text
    p_source = '新闻来源：(.*?)"'
    source = re.findall(p_source, res, re.S)
    p_date = '发布于：(.*?)"'
    date = re.findall(p_date, res, re.S)
    p_href = '<h3 class="news-title_1YtI1"><a href="(.*?)"'
    href = re.findall(p_href, res, re.S)
    p_title = '标题：(.*?)"'
    title = re.findall(p_title, res, re.S)
    #自动生成舆情数据报告文本文件
    file1=open('F:\\05pycharm\\20220227学习\\获取5家公司文档.txt','a')#新建txt文件，a为追加模式，w为写模式
    file1.write(company+'数据挖掘completed!'+'\n'+'\n')#用write()函数写入字符串

    for i in range(len(title)):
        file1.write(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')'+'\n')
        file1.write(href[i]+'\n')
    file1.write('——————————————————————————————————'+'\n'+'\n')
    file1.close()#关闭文件


companys=['阿里巴巴','万科','京东','恒大','碧桂园']
for i in companys:
    baidu(i)
    print(i+'百度新闻爬取成功')

运行结果：