python爬虫笔记 --------scrapy框架(3)

最新推荐文章于 2024-05-02 11:08:45 发布

原创最新推荐文章于 2024-05-02 11:08:45 发布 · 458 阅读

0 ·

CC 4.0 BY-SA版权

python爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Scrapy的选择器从网页中提取数据，包括构造选择器的方法及使用XPath和CSS表达式进行数据抓取的实际操作。通过示例页面演示了如何定位元素并提取所需信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提取Item

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和CSS 表达式机制:Scrapy Selectors

构造选择器

Scrapy selector是以 文字(text) 或 TextResponse 构造的Selector 实例。其根据输入的类型自动选择最优的分析方法(XML vs HTML):

from scrapy.selector import Selector
from scrapy.http import HtmlResponse

1、以文字构造：

2、以response构造：

为了方便起见，response对象以 .selector 属性提供了一个selector:

使用选择器

使用 Scrapy shell (提供交互测试)和位于Scrapy文档服务器的一个样例页面，来解释如何使用选择器：

http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

这里是它的HTML源码:

<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>

1、首先, 打开shell:

scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

接着，当shell载入后，将获得名为 response 的shell变量，其为响应的response，并且在其 response.selector 属性上绑定了一个selector。

2、为了提取真实的原文数据，你需要调用 .extract() 方法如下:

更多的xpath语法可以参考http://www.w3school.com.cn/xpath/xpath_syntax.asp