Scrapy IT之家评论爬虫

最新推荐文章于 2024-09-10 16:32:26 发布
最新推荐文章于 2024-09-10 16:32:26 发布
阅读量832 收藏 2
点赞数
分类专栏： Python 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AmazingUU/article/details/83043592
版权
本文记录了使用Scrapy爬取IT之家热门评论的过程，包括遇到的挑战和解决方案。主要问题包括newsID的拼接、接口POST数据变化、JSON响应处理以及Scrapy的ROBOTSTXT_OBEY设置。通过正则匹配和分析接口，成功获取并解析了评论数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

最近在学习Python爬虫，这里推荐一个入门爬虫的博客系列
https://github.com/Ehco1996/Python-crawler
博主写的对新手很友好，很适合入门。

我写这篇文章的目的是记录一下在学习他的
从零开始写Python爬虫 — 爬虫应用：IT之家热门段子（评论）爬取
中做的改进和遇到的问题。

思路

和原文爬取特定分类新闻下的热评不同的是，我是爬取IT之家首页的最热排行里24小时阅读榜中文章的热门评论，增加一下热评的时效性。

根据原文，我的思路如下：

  1. 获取首页最热排行里文章的url
  2. 根据对应url获取newsID，再将newsID和type数据post给接口http://it.ithome.com/ithome/getajaxdata.aspx获取返回的热评数据
  3. 解析出热评的标题、评论人、时间、内容、支持数和反对数，进行存储

本以为能够很顺利的实现，结果还是遇到了一些问题。

问题

原文是用requests和多进程实现爬取速度的提升，由于Scrapy本身就是利用多进程实现爬取速度的提升，再加上我想换一种方法实现，这里就采用Scrapy实现。下面就是遇到的问题。

1.

最低0.47元/天 解锁文章
【Python】Python中字典的items(), keys(), values()方法
优快云明星博主，认证博客专家，视频、Matlab领域优质创作者。
01-07 2062
http://blog.youkuaiyun.com/xxkkff/article/details/4368541
python 字典item与iteritems的区别详解
12-20
综述迭代器 对于原生支持随机访问的数据结构（如tuple、list），迭代器和经典for循环的索引访问相比并无优势，反而丢失了索引值（可以使用内建函数enumerate()找回这个索引值）。但对于无法随机访问的数据结构（比如set）而言，迭代器是唯一的访问元素的方式。 另外，迭代器的一大优点是不要求事先准备好整个迭代过程中所有的元素。迭代器仅仅在迭代到某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的或是无限的集合，比如几个G的文件，或是斐波那契数列等等。 迭代器更大的功劳是提供了一个统一的访问集合的接口，只要定义了iter()方法对象
python字典中items()和iteritems()的区别
lachesis999的专栏
11-26 1万+
items()返回的是列表对象，而iteritems()返回的是iterator对象。例如： print dic.items() #[('a', 'hello'), ('c', 'you'), ('b', 'how')] print dic.iteritems() # 深究：iteritor是迭代器的意思，一次反悔一个数据项，知道没有为止 for i in dic.iter
Python中item()和items()的用处
weixin_56054625的博客
09-10 881
在训练时，。比如loss.item()。可以看出是.item()，item()返回的是一个，所以我们在求loss或者accuracy时，一般使用item()，而不是直接取它对应的元素x[1,1]。
python: X.items()与X.item()的用法演示
fengbao24的博客
07-18 2308
python中items()函数与item()函数的用法演示
item()和items()的用法详解与区别
wangxuecheng666的博客
10-09 1万+
item（） item()的作用是取出单元素张量的元素值并返回该值，保持该元素类型不变。 听起来和使用索引来取值的作用好像一样，接下来我们看一看使用两种方法取元素值的区别： 首先定义一个张量： 1、直接使用索引取值： 2、使用item()取出 由此可以看出使用item()函数取出的元素值的精度更高，所以在求损失函数等时我们一般用item（） items() items()的作用是把字典中的每对key和value组成一个元组，并把这些元祖放在列表中返回。 举个例子：
python item()和items()_Python爬虫--Items(三)
weixin_34896969的博客
03-01 1347
一、Items简介爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy提供 Item 类来满足这样的需求。Item 对象是种简单的容器，保存了爬取到得数据。 其提供了 类似于词典(dictionary-like) 的API以及用于声明可用字段的简单语法。1. 声明ItemItem使用简单的class定义语法以及 Field 对象来声明。例如:import scrapycla...
python item()
m0_49133355的博客
07-17 768
在 Python 的数据处理和深度学习中，item() 是一个常用的方法，主要用于从包含单个元素的张量（tensor）中提取 Python 原生的数值类型（如整数或浮点数），或从只有一个元素的 NumPy 数组中获取相同的值。item() 方法在 PyTorch 中用于从标量张量中提取其值，而在 NumPy 中，可以通过索引直接获取单个元素的值。性能考虑：由于 item() 方法涉及到将张量中的值转换为 Python 的原生数据类型，因此它是一个相对较慢的操作。在 NumPy 中的使用。
python中.item()
weixin_46569877的博客
01-10 1503
原文链接 张量自带函数，将张量转变为python的数值，它只能用于单个张量 通过item函数从张量变成了python数值
python中item是什么意思中文-Python中使用item()方法遍历字典的例子
weixin_37988176的博客
10-29 6100
Python字典的遍历方法有好几种，其中一种是for...in，这个我就不说明，在Python了几乎随处都可见for...in。下面说的这种遍历方式是item()方法。item()item()方法把字典中每对key和value组成一个元组，并把这些元组放在列表中返回。DEMO代码：复制代码 代码如下:person={'name':'lizhong','age':'26','city':'BeiJi...
python item()方法
花生日记
04-05 1万+
3.如果想要一次性将整个列表中的所有值都删除掉，那么我们可以使用item_process.now （）来实现： 4.我们可以通过 python中的set_item （）方法来实现，具体代码如下： 5.上面代码中使用了 python中的三个方法来完成操作，分别是set_item （）和 python. split （）。这里，我们想从列表中添加一个数组，如： 首先，我们在列表中输入： 然后，我们将数组的第一个元素设置为0,将其拷贝到另一个列表中，并将数组的最后一个元素设置为1,这样就完成了数组的添加操作。
Python中使用item()方法遍历字典的例子
01-21
item()方法把字典中每对key和value组成一个元组，并把这些元组放在列表中返回。 DEMO 代码： 复制代码 代码如下: person={‘name’:’lizhong’,’age’:’26’,’city’:’BeiJing’,’blog’:’www.jb51.net’}  ...
Python：Scrapy框架中Item Pipeline组件使用详解
09-20
### Python：Scrapy框架中Item Pipeline组件使用详解 #### Item Pipeline简介 在Scrapy框架中，Item Pipeline组件扮演着至关重要的角色。它主要用于处理由爬虫（Spider）从网页中抽取出来的Item对象。Item ...
python中Counter(), join(), items(), index()函数的用法
12-21
在Python编程语言中，`Counter()`, `join()`, `items()`, 和 `index()` 是四个非常实用的函数，它们各自在不同的场景下发挥着重要的作用。下面将详细阐述这些函数的用法。 1. **Counter()** 函数 `Counter` 是...
python中item和items函数的用法
最新发布
12-08
在Python中，`item`和`items`通常用于字典（dictionary）对象，用于访问和操作字典中的键值对。以下是它们的用法和区别： 1. **`items()` 方法**： - `items()` 方法返回一个包含字典中所有键值对的视图对象。这个...
Python：item()用法
hhshbubaoyuan的博客
01-05 928
item()方法只适用于包含单个元素的张量，并将其值提取为标量。它是针对张量对象的特定方法，用于方便地获取张量中的值。注意该方法只适用于包含单个元素的张量，尝试使用 item()方法从一个包含多个元素的张量中提取值会报错。
python是什么怎么用-什么是python items函数？怎么使用它？
weixin_37988176的博客
11-01 1963
这篇文章我们来学习一下关于python字典之中的python items函数的相关知识，items函数是什么意思，这个函数有什么作用都将会在接下来的文章之中得到解答。描述Python 字典(Dictionary) items() 函数以列表返回可遍历的(键, 值) 元组数组。语法items()方法语法：dict.items()参数NA。返回值返回可遍历的(键, 值) 元组数组。实例以下实例展示了 ...
关于python中.item()的用法
热门推荐
weixin_44739213的博客
09-18 8万+
关于python中.item()的用法 本白在搜索引擎里面搜item出来的大多全是items()遍历，或者标题是item()，点进去内容却还是在讲items()。所以我还是打算记录一下。 官方小册子链接在此???? 作用：取出单元素张量的元素值并返回该值，保持原元素类型不变。,即：原张量元素为整形，则返回整形，原张量元素为浮点型则返回浮点型，etc. x[1,1] V.S. X.item(): 下面的例子我当时是想观察一下，直接用[1,1]取出元素与使用.item()取出元素 有什么区别。我感觉是显示精度
python item系列
bus_lupe的博客
01-08 1843
“.”的方式操作attr，“[]”的方式操作item class Foo: def __getitem__(self, item): return self.__dict__[item] def __setitem__(self, key, value): self.__dict__[key] = value def __delitem__(...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值