Python3爬虫-05-爬取腾讯新闻

转载于 2018-01-26 01:56:01 发布 · 428 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5a69cbe051882573520d9a2f

文章标签：

#python #爬虫

本文介绍了一个简单的Python爬虫程序，该程序利用requests和BeautifulSoup库抓取腾讯新闻网站上的新闻标题及其对应的链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#coding:utf-8
import requests
from bs4 import BeautifulSoup

url = "http://news.qq.com/"

#请求腾讯新闻的URl，获取其text文本
wbdata = requests.get(url).text
#对获取的文本进行解析
soup = BeautifulSoup(wbdata,'lxml')
#从解析文件中通过select选择器定位指定的元素，返回一个列表 
news_titles = soup.select("div.text > em.f14 > a.linkto")

print(news_titles)

for n in news_titles:
    title = n.get_text()
    link = n.get("href")
    data = {
        '标题':title,
        '链接':link
    }
    print(data)
复制代码