Python爬虫（三）：scrapy提取数据之CSS提取器

最新推荐文章于 2024-11-08 11:45:30 发布

eook767117193

最新推荐文章于 2024-11-08 11:45:30 发布

阅读量3.9k

点赞数 2

分类专栏： Python之路文章标签： python 爬虫 Scrapy

本文链接：https://blog.youkuaiyun.com/u014041590/article/details/85109026

版权

本文介绍了如何使用Scrapy的CSS提取器从网页中抓取数据，包括提取网页信息、标签内容，如title、p、div内的文本和URL。还提供了从http://lab.scrapyd.cn获取名言、作者和标签的实践案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy提取数据的三种方法：CSS、XPATH、RE。

这里学习一下怎么使用CSS提取器提取有用的数据。参考自http://www.scrapyd.cn/doc/。

这里需要有一定的CSS基本，下面附上学习CSS的链接http://www.runoob.com/css/css-tutorial.html。

1、爬取网页信息

scrapy shell http://lab.scrapyd.cn/page/1/

2、标签内容的提取

<title>Scrapy 中文网</title>

<div class="post-content" itemprop="articleBody">
    <p>看官，此页面只为爬虫练习使用，都是残卷，若喜欢可以去找点高清版！</p>
    <p><img src="http://lab.scrapyd.cn/usr/uploads/2018/02/3875934880.jpg" alt="1.jpg" title="1.jpg"></p>
    <span style="font-family: Arial, Verdana, sans-serif;"></span>
    <p><img src="http://lab.scrapyd.cn/usr/upl

最低0.47元/天解锁文章