python3 bs4 requests 腾讯新闻标题链接获取小试牛刀

最新推荐文章于 2020-12-04 04:41:16 发布

weixin_34221775

最新推荐文章于 2020-12-04 04:41:16 发布

阅读量176

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://blog.51cto.com/9694110/2055406

本文介绍了一种使用Python的requests和BeautifulSoup库从腾讯不同频道抓取新闻标题及链接的方法。通过发送HTTP请求获取网页内容，并利用BeautifulSoup解析HTML，定位到新闻标题和链接所在的元素，进而提取所需信息。

import requests
from bs4 import BeautifulSoup

url =["http://ent.qq.com/","http://ent.qq.com/",
"http://finance.qq.com/","http://stock.qq.com/hk/",
"http://tech.qq.com/","http://fashion.qq.com/",
"http://mil.qq.com/mil_index.htm",]

for i in url:
wbdata = requests.get(i).text#获取文本方式的响应体实例,会使用其响应的文本编码进行解码

print (wbdata)

soup = BeautifulSoup(wbdata,'lxml')
#通过select选择器定位指定的元素，返回一个列表
news_titles = soup.select("div.text > em.f14 > a.linkto")
# print (news_titles)
#对返回的列表进行遍历
for n in news_titles:
#提取出标题和链接信息
    title = n.get_text()
    link = n.get("href")
    data = {
    '标题':title,
    '链接':link
    }
    print (data['标题'],data['链接'])#打印抓取了哪些些内容
    f = open('1.txt', 'a')#追加写入
    print (data['标题'],data['链接'], file=f)
    # f.write(data['标题'])#写入文件
    f.close()#写入完成后,关闭文件

转载于:https://blog.51cto.com/9694110/2055406