【Scrapy实战】0207笔记——Xpah入门

最新推荐文章于 2025-02-18 22:09:34 发布

lucahan

最新推荐文章于 2025-02-18 22:09:34 发布

阅读量435

点赞数

CC 4.0 BY-SA版权

分类专栏： scrapy

本文链接：https://blog.youkuaiyun.com/lucahan/article/details/79285387

scrapy 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何在PyCharm环境中配置Scrapy项目并进行数据抓取，包括创建爬虫模板、设置运行环境及配置文件等步骤，并演示了如何使用XPath语法从特定网页提取数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、在pycharm中运行scrapy的配置过程
1.
    1）(env_scrapy) E:\project\python> cd E:\project\python\web_spider
    2）创建模板：scrapy genspider jobbole blog.jobbole.com
    3)pip install -i https://pypi.douban.com/simple pypiwin32

2.配置main文件,在根目录下新建main文件
    from scrapy.cmdline import execute
    import sys
    import os
    #E:\project\python\web_spider
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(["scrapy", "crawl", "jobbole"])

3.setings文件下的配置
    # Obey robots.txt rules
    ROBOTSTXT_OBEY = False


二、数据抓取（页面：http://blog.jobbole.com/110287/）
1.xpath语法：http://www.w3school.com.cn/xpath/xpath_syntax.asp
2.由于scrapy每次在pycharm下启动很慢，所以采用shell脚本下运行，可以加快速度：scrapy shell http://blog.jobbole.com/110287/
3.由于一个class中包含多个不同的属性，所以要使用contains函数来进行匹配
    praise_num = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract()
4.extract():获取属性值； strip() 方法用于移除字符串头尾指定的字符（默认为空格）；