在scrapy spider中引入item.py 中的 [自定义]Item 方法有误时！

最新推荐文章于 2023-06-30 23:22:25 发布

转载最新推荐文章于 2023-06-30 23:22:25 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/xdevile/blog/3032224

文章标签：

#python #爬虫

本文介绍如何在Scrapy项目中定义爬取项（Item），通过具体示例JC360Item展示字段配置方法，并提供了正确的模块导入方式。文章还涉及了Selenium及Scrapy-Splash等中间件的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class Jc360Item(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    level=scrapy.Field()
    Tipstype=scrapy.Field()
    securityinfo=scrapy.Field()
    wenurl=scrapy.Field()

我们需要在scrpay中引入这个方法，就是我们scrapy中自己定义的item方法，但是我们需要在scrapy中的spider中引用，所以我们需要，加一串代码，改变我们的引入方式

# -*- coding: utf-8 -*-

#原来的python的引入scrapy 的类中的方法有误，请用这个方法再次引入
from __future__ import absolute_import
#就是以上这一句代码



import scrapy

from selenium import webdriver
from  scrapy_splash import SplashMiddleware
from scrapy_splash import SplashRequest
import pymysql
from ..item360 import Jc360Item

转载于:https://my.oschina.net/xdevile/blog/3032224