scrapy爬虫之凤凰网热点新闻

最新推荐文章于 2021-02-04 05:44:21 发布

原创最新推荐文章于 2021-02-04 05:44:21 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #新闻 #scrapy #python

本文介绍如何使用Scrapy框架初始化并实现一个简单的凤凰网新闻爬虫项目。通过具体代码示例，展示从创建项目到解析数据的全过程。

初始化一个scrapy项目

scrapy startproject ifengHotNews 用scrapy初始化一个爬虫项目

这里写图片描述

import scrapy

class getIfengNews(scrapy.Spider):
    name = "hotNews"
    start_urls = ["http://www.ifeng.com/"]

    def parse(self, response):

        for con in response.xpath('//div[@id="headLineDefault"]/ul/ul[2]/li'):

            txt = con.xpath('a/text()').extract_first()

            yield {'title': txt}