如何运用SCRAPY+MySQL抓取相关信息

scrapy 保存mysql_Scrapy存入MySQL(五):实战Scrapy中文网存入MySQL 通过前面的scrapy教程,我们已经把scrapy存入Mysql的每一个细节都讲得一清二楚,包括:MySQL的安装(文:《Mysql快速无坑安装》)、MySQL的管理(文:《Navicat使用详解》)、MySQL驱动安装问题(文:《Python Mysql驱动安装及填坑教程》)、Scrapy数据存入MySQL实现原理(文:《MySQLPipeline插件实现细节》),如果对细节还有疑惑,不妨移步上... 阅读详情

首先本文是基于win7操作系统,并且配置好scrapy的运行环境,采用Python语言编写的(前面有疑问的请先Google,百度   ,拒绝伸手党)

1.假设你已经配置好scrapy的运行环境,这里你只需要运行CMD进入DOS创建一个新的项目工程

scrapy startproject  项目名称                                                                项目名称改成你的  具体名称

我们可以看到创建好的目录的树形图,里面需要修改的items.py  , pipelines.py setting.py 另外spiders文件夹下需要编写自己的爬虫文件(新建spiders.py)

2.这里就以抓取某网站的产品信息为例子编写

items.py文件如下

# -*- coding: utf-8 -*-


# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html


from scrapy.item import Item, Field




class ComputerItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name=Field(serializer=str)#产品名称1
    price=Field(serializer=str)#产品价格2
    jprice=Field(serializer=str)#
    #gprice=Field(serializer=str)#
    #sprice=Field(serializer=str)#二手价5
    score=Field(serializer=str)#评分6
    screval=Field(serializer=str)#屏幕效果7
    buffval=Field(serializer=str)#电池续航8
    phtval=Field(serializer=str)#拍照效果9/运行速度
    yuval=Field(serializer=str)#娱乐10
    desval=Field(serializer=str)#外观设计效果11
    cpval=Field(serializer=str)#性价比12
    ImageAddress = Field(serializer=str)#图片地址
    pass

以上的这些特征是你需要抓取的,当然你可以根据自己的需求适当的修改即可。

pipelines.py文件如下

# -*- coding: utf-8 -*-


# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy import log
from twisted.enterprise import adbapi
from scrapy.http import Request


import MySQLdb
import MySQLdb.cursors


class ComputerPipeline(object):
    def __init__(self):
        self.dbpool = adbapi.ConnectionPool('MySQLdb',
                db = 'product',
                user = 'root',
                passwd = '123456',
                cursorclass = MySQLdb.cursors.DictCursor,
                charset = 'utf8',
                use_unicode = False
        )
    
    def process_item(self, item, spider):
        query = self.dbpool.runInteraction(self._conditional_insert, item)
        query.addErrback(self.handle_error)
        return item
    def _conditional_insert(self,tx,item):
        tx.execute("select * from computer where m_name= %s",(item['name'][0]))
        result=tx.fetchone()
        log.msg(result,level=log.DEBUG)
        print result
        if result:
            log.msg("Item already stored in db:%s" % item,level=log.DEBUG)
        else:
            cpval=price=''
            lenprice=len(item['price'])
            lencpval=len(item['cpval'])
            for n in xrange(lenprice):
                price+=item['price'][n]
                if n<lenprice-1:
                    price+='/'
            for n in xrange(lencpval):
                cpval+=item['cpval'][n]
                if n<lencpval-1:
                    cpval+='/'
            tx.execute(\
                "insert into computer (m_name,m_score,m_screval,m_buffval,m_phtval,m_yuval,m_desval,m_price,max_price,m_cpval,m_image) values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)",\
                (item['name'][0],item['score'][0],item['screval'][0],item['buffval'][0],item['phtval'][0],item['yuval'][0],item['desval'][0],price,item['jprice'][0],cpval,item['ImageAddress'][0]))
            log.msg("Item stored in db: %s" % item, level=log.DEBUG)


    def handle_error(self, e):
        log.err(e)

setting.py文件如下
# -*- coding: utf-8 -*-


# Scrapy settings for computer project
#
# For simplicity, this file contains only the most important settings by
# default. All the other settings are documented here:
#
#     http://doc.scrapy.org/en/latest/topics/settings.html
#


BOT_NAME = 'computer'


SPIDER_MODULES = ['computer.spiders']
NEWSPIDER_MODULE = 'computer.spiders'
ITEM_PIPELINES={
    'computer.pipelines.ComputerPipeline'
}
LOG_LEVEL='DEBUG'


DOWNLOAD_DELAY = 2
RANDOMIZE_DOWNLOAD_DELAY = True
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
COOKIES_ENABLED = True
MySQL_SERVER = 'localhost'
MySQL_PORT = 3306  

3.这里是非常重要的部分,编写自己的爬虫文件主要是找到相应的网页去寻找你需要的信息的XPath(请自行解决不懂地方问我)

spiders.py文件

4.接下来是创建数据库,这里用的是MySQL(这里假设你已经安装好了MySQL)

创建数据库 create database product;

use product;

create table computer;

这里建立字段根据你在itemS.py中的特征创建相应的字段,当然数据库和表明以及字段都是根据你自己的需求信息来自己更改即可。

CREATE TABLE `computer` (
  `id` int(4) NOT NULL AUTO_INCREMENT,
  `m_name` text NOT NULL,
  `m_score` text NOT NULL,
  `m_screval` text NOT NULL,
  `m_buffval` text NOT NULL,
  `m_phtval` text NOT NULL,
  `m_yuval` text NOT NULL,
  `m_desval` text NOT NULL,
  `m_cpval` text NOT NULL,
  `m_price` text NOT NULL,
  `max_price` text NOT NULL,
  `predict` int(10) DEFAULT NULL,
  `pricedrop` int(4) DEFAULT NULL,
  `accuracy` double(4,1) DEFAULT NULL,
  `m_image` varchar(500) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=
0 DEFAULT CHARSET=utf8;

最后你只需要启动的爬虫程序即可: scrapy crawl 爬虫名字(computer) 在spiders.py文件中我们可以看到我们能够自己定义爬虫的名字 name= “computer”

到这里全都结束了,你可以抓取你在网页中的信息,最后给几张效果图。


找到相应的图片的地址:http://2d.zol-img.com.cn/product/114_280x210/77/cemR8HO11mOmE.jpg


以上有问题可以联系hustzhf@163.com

相互学习共同进步


Python 爬虫与 Scrapy 实战:批量抓取招聘网站职位信息 本教程介绍了使用Scrapy框架抓取招聘网站职位信息的方法,以猎云网为例展示了完整流程。首先安装Scrapy并创建项目,然后编写爬虫代码提取职位信息(标题、公司、地点、薪资等),配置参数优化爬取效率,最后将数据存储为JSON文件或数据库。文章还提供了提高爬虫稳定性的建议,如使用代理池、请求延时等,适合需要批量获取招聘信息的开发者参考。 阅读详情

相关推荐

利用scrapy轻松爬取招聘网站信息并存入MySQL

Scrapy版本:1.4; Python版本:3.6; OS:win10; 本文完整项目代码:完整示例; 本文目标: 通过爬取腾讯招聘网站招聘岗位,熟悉scrapy,并掌握数据库存储操作;

WaltSmith的博客 5113

Scrapy爬取数据并存储到MySQL

Scrapy爬虫 爬虫框架 架构 流程 组件 功能 同步插入数据库 异步插入数据库 mysql pipeline

一个人的编程之路 8868

scrapy爬虫数据存入mysql数据库

上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中,不过对数据的进一步使用显然放在数据库中更加方便,这里将数据存入mysql数据库以便以后利用。 运行环境: 1. win7-64bit 2. python 3.5.3 3. mysql 5.7.17 安装mysql数据库模块打开命令行输入python后,通过import MySQLdb检查是否支持mysql

ljm_9615的博客 3万+

python基于scrapy框架爬取数据并写入到MySQL和本地

基于scrapy框架爬取内容,持久化存储到本地和MySQL

qq_43658523的博客 2846

Scrapy实战- Scrapy框架爬取豆瓣电影top250

scrapy框架 爬取豆瓣电影排名,数据保存至MySQL数据库中

qq_42803848的博客 4807

Scrapy爬虫实践之搜索并获取前程无忧职位信息(基础篇)

以一个完整的实例来介绍如何实现一个Scrapy爬虫,通过爬虫搜索,并获取前程无忧上的职位信息。

peng00的专栏 6288

scrapy数据存入mysql_Scrapy爬虫实例教程(二)---数据存入MySQL

本文将详细描述使用scrapy爬去左岸读书所有文章并存入本地MySql数据库中,文中所有操作都是建立在scrapy已经配置完毕,并且系统中已经安装了Mysql数据库(有权限操作数据库)。为了避免读者混淆,这里也使用tutorial作为scrapy project名称(工程的名字可以有读者自己定制)。1. 建立tutorial工程1 scrapy startproject tutorial上述命令运...

weixin_29560137的博客 1138

Scrapy爬虫框架抓取网易新闻

一. 环境安装 依赖库的安装: 1.

weixin_45861518的博客 663

网络爬虫丨基于scrapy+mysql爬取博客信息

基于scrapy+mysql爬取博客信息并保存到数据库中

AIGC 2万+

使用python scrapy爬取全国小区信息(包括小区价格,经纬度,面积,户数等),并保存到mysql和excel

目标 此次爬取的网站是楼盘网,因为只爬取小区信息,所以先从深圳小区(http://sz.loupan.com/community/)网页入手分析,然后发散爬取至全国。 爬取的信息包括 省,所属市,所属区,小区名,小区链接,详细地址,经纬度,交通,价格,物业类型,物业价格,面积,户数,竣工时间,车位数,容积率,绿化率,物业公司,开发商。 保存至Excel和mysql,也可以保存至MongoDB,看...

u012424313的博客 1万+

Scrapy爬虫实战:伯乐在线文章数据抓取与MySQL存储

Scrapy是一个快速、高层次的web爬取和web抓取框架,用于爬取网站数据并从页面中提取结构化的数据。它适用于各种规模的数据抓取任务,从简单的数据抓取到复杂的web爬虫程序,因其强大的功能和灵活性而广受开发者好评。Scrapy项目生成之后,会自带一个默认的目录结构,帮助我们快速搭建爬虫应用。以下为Scrapy项目的标准目录结构及各部分的简要说明:├── scrapy.cfg # 配置文件,项目部署和部署时使用├── __init__.py # 初始化文件,无特殊功能。

weixin_35706067的博客 1067

五十四、使用Scrapy爬取北京公交信息(将爬取的数据存入Mysql)

环境准备: python3.7 Pycharm Scrapy框架 理论概述: 什么是Scrapy框架? Scrapy是一个快速、高层次、轻量级的屏幕抓取和web抓取的python爬虫框架 Scrapy的用途? Scrapy用途非常广泛,主要用于抓取特定web站点的信息并从中提取特定结构的数据,除此之外,还可用于数据挖掘、监测、自动化测试、信息处理和历史片段(历史记录)打包等 环境搭建: 一、安装Scrapy 安装Scrapy的方式有两种: ...

7930

说说通用报表控件

我们已经开发有2款WINCC报表控件,一种是固定模板,一种是自定义模板。但是它们有个共同特点,就是数据都是来自WINCC的归档数据库。使用WINCC归档数据库的好处是不需要自己写脚本保存数据。但是有些情况下,我们需要自己保存数据,或者第三方系统通过数据表的方式给我们提供数据。那这样的话,我们之前的两款控件就不支持了。正好有个客户有类似需要,于是加了一天班写了个通用报表控件。之所以说是通用,是因为它可以插入任何支持.NET控件的组态软件中,比如WINCC、IFIX等。并且它不依赖于组态软件自己...

HwLib_的博客 3551

【python爬虫】scrapy框架案例实现数据保存入MySQL

文章目录前言📕往期知识点最终效果前言随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。📕往期知识点📕往期内容回顾💡【python爬虫】纵横中文网python实战💡【python教程】保姆版教使用pymysql模块连接MySQL实现增删改查 💡 selenium自动化测试实战案例哔哩哔哩信息至Excel 💡舍友打一把游戏的时间,我实现了一个selenium自动化测试并把数据保存到MySQL 最终效果 还是老样子,先看一下最

flyskymood的博客 3790

【TCAX相关】Python 官方手册下载页面(中文+英文)

Python 官方手册下载页面(中文+英文) 中文: https://docs.python.org/zh-cn/3.8/archives/ https://docs.python.org/zh-cn/3.6/archives/ 英文: https://www.python.org/doc/versions/ https://docs.python.org/3/archives/ https://www.python.org/ftp/python/doc/ ...

Seekladoom的博客 1013

Frida提取Cocos游戏XXTEA密钥的实战方法论

XXTEA是一种轻量级分组加密算法,广泛用于移动端游戏通信保护;其128位密钥的安全性直接决定网络协议逆向成败。在Cocos引擎生态中,密钥常以静态常量、JNI动态传递或Native运行时派生三种形态存在,导致传统静态分析失效。Frida凭借跨Java/Native注入能力与内存实时观测优势,成为捕获密钥‘出生瞬间’的关键工具——尤其适用于hook xxtea_encrypt函数入口、监控JNI参数传递、设置内存断点追踪派生过程等场景。本文聚焦Cocos2d-x与Cocos Creator项目,覆盖从密钥识

weixin_33509600的博客 420

python基于scrapy框架爬取当当图书信息

本次爬取主要任务是用scrapy框架爬取当当图书名称、作者是、价格、出版社、图片等信息,为了方便后期的处理和应用,可以将信息利用mysql数据库存储。 一、创建并连接mysql数据库 1、利用cmd命令进入Windows系统,并启动mysql数据库 C:\Users\Administrator>cd /d C:\Windows\System32 C:\Windows\System32>net start mysql80 2、利用MySQL Workbench工具创建数据库并新建一个Table

qiuws的博客 2386

项目安全等保测评加固手册

安全等级测评的目的是通过对目标系统在安全技术及管理方面的测评,对目标系统的安全技术状态及安全管理状况做出初步判断,给出目标系统在安全技术及安全管理方面与其相应安全等级保护要求之间的差距。测评结论作为委托方进一步完善系统安全策略及安全技术防护措施依据!!

菜鸟运维升级之路 2419

Scrapy爬取网页信息并存储到MySQL

Scrapy项目之自动爬取网页信息一文介绍了利用Scrapy框架可以方便地进行网页信息的自动爬取。本文则是基于前文内容,将前文所述爬取的信息存储到MySQL中,使网页信息结构化。 1.创建爬虫项目crawltosql 2.编写items.py import scrapy class CrawltosqlItem(scrapy.Item): # define ...

carson0408的博客 1174

YOLOv11与Roboflow数据预处理实战:从原始数据到高性能模型

摘要 Roboflow平台与YOLOv11的结合为计算机视觉开发者提供了高效的工作流。Roboflow提供数据集管理、预处理、增强和导出的一站式解决方案,支持多种标注格式并与YOLOv11无缝集成。YOLOv11在YOLO系列基础上进行了架构创新,包括深度宽度优化、C3k2机制和C2PSA注意力机制,提供从纳米版到超大版的多种模型变体。 使用Roboflow的流程包括:注册工作区、收集/导入数据(支持本地和公开数据集)、专业标注(含SAM辅助)、预处理(尺寸调整、归一化等)和数据增强(几何变换和颜色调整)。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 355

【数字IC验证快速入门】26、SystemVerilog项目实践之AHB-SRAMC(6)(AHB-SRAMC SVTB Overview)

导读:作者有幸在中国电子信息领域的排头兵院校“电子科技大学”攻读研究生期间,接触到前沿的数字IC验证知识,旁听到诸如华为海思、清华紫光、联发科技等业界顶尖集成电路相关企业面授课程,对数字IC验证有了一些知识积累和学习心得。为帮助想入门前端IC验证的朋友,思忱一二后,特开此专栏,以期花最短的时间,走最少的弯路,学最多的IC验证技术知识。 文章目录一、内容概述二、AHB-SRAMC 验证计划 一、内容概述 AHB-SRAMC 验证计划 AHB-SRAMC 验证平台的架构图 AHB-SRAMC 验证平台的代.

悟已往之不谏 知来者之可追 2653

scrapy将爬取的招聘信息存入MySQL

写这篇文章的目的就是为自己的学习做一下笔记,记录一下python如何连接和操作MySQL。 既然要用python操作MySQL,就要导入操作MySQL的模块,python3.0+要用pymysql这个模块。 爬取网址:https://www.liepin.com/ 因为只是记录python操作MySQL,所以就简单的选择了网址首页的几条信息(招聘公司,招聘岗位,月薪,位置)来作为写入数据库的内容,插入数据量大的信息所用方法是相同的。 代码部分 爬虫部分 import scrapy from ..it.

SmallSweets的博客 530

利用Dify平台打造大学生专属AI模拟面试助手:从零到精通的完整指南

在这个充满竞争的就业市场中,拥有一个24小时在线的AI面试教练无疑是大学生求职路上的秘密武器。通过本文的指导,你已经掌握了使用Dify平台构建专业级模拟面试助手的全套技能。从环境部署、模型选择,到Prompt设计、知识库集成,再到高级功能开发和效果优化,我们一步步打造了一个能够适应不同岗位、提供专业反馈的智能面试系统。无论是技术岗的算法问答,还是咨询业的案例分析,或是外企的英语面试,你的定制助手都能提供针对性训练。更重要的是,这个方案具有极强的可扩展性。

专注于编程、AI、人工智能等多个领域内容研究和分析 2797

Scrapy爬取新浪新闻 创建项目、爬取内容保存到mysql

(二)Scrapy爬取新浪新闻 搭建环境、创建项目、爬取内容保存到mysql 1. Scrapy创建爬虫项目2. 爬取数据3. 保存到MySQL 最近是在做一个全套的推荐系统,需要一些原始数据,所以着手用Scrapy爬取新浪新闻,包括创建项目、爬取内容保存到mysql等。 1. Scrapy创建爬虫项目 2. 爬取数据 3. 保存到MySQL ...

Rocket,Qian的博客 2068

Darknet-Yolov3 移植过程

本教程面向使用寒武纪平台进行深度学习推理任务的开发者。针对当前主流检测网络darknet-yolov3,进行寒武纪平台的移植。开发者对照移植过程,能够利用寒武纪智能处理器设备完成多种场景的目标检测任务。本实验代码基于 Neuware 1.6.1 与 Python 2.7 环境。

shengyin714959的博客 438

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

scrapy-mysql

scrapy-mysql items.py 用于接收content和author import scrapy class ScrapymysqlItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() content = scrapy.Field() ...

Stupid-Tyro的博客 604

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

上一篇: 运用TF-IDF 提取特征词 k-means 挖掘微博的兴趣特征群体
下一篇: 推荐系统相关算法(1):SVD
apachephpmysql
博客等级 码龄14年 4粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值