Day05 爬虫学习第五天:Scrapy异步爬虫框架,持久化存储方式,数据库连接

Scrapy定向爬虫教程(五)——保持登陆状态 本节内容在访问网站的时候,我们经常遇到有些页面必须用户登录才能访问。这个时候我们之前写的傻傻的爬虫就被ban在门外了。所以本节,我们给爬虫配置cookie,使得爬虫能保持用户已登录的状态,达到获得那些需登录才能访问的页面的目的。由于本节只是单纯的想保持一下登陆状态,所以就不写复杂的获取页面了,还是像本教程的第一部分一样,下载个网站主页验证一下就ok了。本节github戳此处。原理一般情况下,网站通过 阅读详情

scrapy介绍

- Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。
- 该框架就是一个集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有强通用性的项目模板。
- Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
- 对于Scrapy框架学习,重点是要学习Scrapy框架的特性,各个功能的用法.

scrapy安装

pip install scrapy

scrapy基本使用

 1.创建一个工程 scrapy startproject proName
 2.进入工程目录,在目录下创建爬虫文件:scrapy genspider spiderName www.xxx.com
 3.编写爬虫文件
 4.执行工程 scrapy crawl spiderName

下面按照上面的4个步骤创建一个爬虫project,对段子网站 的段子进行爬取

1.创建一个工程

首先创建工程
scrapy startproject firstBlood ,

2.创建爬虫文件

进入 firstBlood文件夹,创建爬虫文件
scrapy genspider first www.xxx.com
上述两个操作完成后,会得到如下图所示的文件列表。 在这里插入图片描述
在这里插入图片描述
其中setting.py是配置文件,pipelines是管道模块,用来执行保存数据的操作,爬虫文件first.py在spiders文件夹内

3.编写爬虫文件

在爬虫文件中,定义好了一个类,该类的父类是Spider,Spider是scrapy所有类的父类。
类中定义了三个属性和一个方法。

- name:爬虫文件的名称
- start_url:起始url列表
	- 作用:可以对列表中的url进行get请求的发送
- allow_demains:允许的域名
- parse(self,response):
	- 将起始url列表中的url请求成功后,response就是获取的请求响应,在该方法中负责数据解析
  • 在first.py中中编写爬虫文件,编写爬虫文件时使用xpath进行数据解析
  • 注意:提取标签内容时,返回的不是字符串,而是Selector对象,字符串是存储在该对象中,需要调用extract()或者extract_first()将Selector对象中的字符串取出。

3.1 修改配置文件

在settings.py中修改默认配置

- scrapy工程默认是遵从robots协议的,需要在配置文件中修改:
	- ROBOTSTXT_OBEY = False #不遵从robots协议
- 指定日志等级
	- LOG_LEVEL='ERROR'

3.2 数据解析+持久化存储

3.2.1 基于终端指令进行存储
  • 首先在first.py爬虫文件中进行数据解析
    在这里插入图片描述
  • 然后进行持久化存储到磁盘,只可以将parse方法的返回值存储写入到指定后缀的文本文件中,可写入的文件类型(‘json’, ‘jsonlines’, ‘jl’, ‘csv’, ‘xml’, ‘marshal’, ‘pickle’)
  • 通过下面的终端指令将返回值存储到csv文件中:
    scrapy crawl first-o data_duanzi.csv
3.2.2 基于管道进行存储
   - 实现流程
       - 1.在爬虫文件中解析数据
       - 2.在Item类中定义相关的属性(解析的数据有几个字段就定义几个属性)
       - 3.将在爬虫文件中解析的数据存储封装到Item对象中
       - 4.将存储了解析数据的Item对象提交给管道
       - 5.在管道文件中接受Item对象,且对其进行任意形式的持久化存储操作
       - 6.在配置文件中开启管道
  • 首先在first.py爬虫文件中进行数据解析
    在这里插入图片描述
  • 下面在items类中定义相关的属性,用来存储解析到的字段
    在这里插入图片描述
a. 存储到txt文件
  • 在管道文件中接受Item对象,存储到txt文件
    在这里插入图片描述
b.存储到数据库
  • 在管道文件中接受Item对象,存储到MySQL数据库
    在这里插入图片描述

  • 在配置文件settings.py中开启管道

ITEM_PIPELINES = {
   		'firstBlood.pipelines.FirstbloodPipeline': 300  #数字代表优先级
		}

4.执行工程

  • 基于终端指令存储
    在终端中执行scrapy crawl first-o data_duanzi.csv,保存的csv文件如下图:
    在这里插入图片描述
  • 基于管道存储到txt
    在终端执行工程 scrapy crawl frist,保存的txt文件如下图
    在这里插入图片描述
  • 基于管道存储到MySQL数据库
    在终端执行工程 scrapy crawl frist,保存的MySQL文件如下图所示
    在这里插入图片描述

附:连接到数据库的两种方式

如果要将数据保存到数据库中,需要先连接到自己的数据库,顺便说一下python连接到MySQL的2种方式,当然连接方式不止两种,这里写两种我用到的:

  • 1.利用sqlalchemy来连接,需要安装相应的库
import pandas as pd
from sqlalchemy import create_engine
# 初始化数据库连接
# 按实际情况依次填写MySQL的用户名、密码、IP地址、端口、数据库名
engine = create_engine('mysql+pymysql://root:****@localhost:3306/test')
# 如果觉得上方代码不够优雅也可以按下面的格式填写
# engine = create_engine("mysql+pymysql://{}:{}@{}:{}/{}".format('root', '12345678', 'localhost', '3306', 'testdb'))
# MySQL导入DataFrame
# 填写自己所需的SQL语句,可以是复杂的查询语句
sql_query = 'select * from account;'
# 使用pandas的read_sql_query函数执行SQL语句,并存入DataFrame
df_read = pd.read_sql_query(sql_query, engine)
print(df_read)
df_read

返回结果如下,读取到我的test数据库中account表的内容
在这里插入图片描述

  • 2.利用pymysql连接,需要安装相应的库
import pymysql
from pymysql.cursors import DictCursor
# 创建数据库连接  localhost等效于127.0.0.1
conn = pymysql.connect(host="127.0.0.1",port=3306,user="root",passwd="1234",db="test",charset="utf8")
# 建立游标,指定游标类型,返回字典
cur = conn.cursor(DictCursor)
# 操作语句,只查询前两行
sql = 'select * from emp limit 2;'
# 执行sql语句
cur.execute(sql)
# 获取查询的所有结果
res = cur.fetchall()
# 打印结果
print(res)
# 关闭游标
cur.close()
# 关闭连接
conn.close()

返回结果如下,读取到我test数据库中emp表的内容,limit 2 给出前两个:
在这里插入图片描述
在上面的持久化存储的代码中用的就是第二种使用pymsql连接到数据库的方式。

emmm…写了好久,最近因为其他的事情有点心情复杂,导致学习进度缓慢,要好好调整状态。然后发现自己的行测能力有点弱,可以花一些时间看些相关的题。
在这里插入图片描述

scrapy爬虫-链家网 一、scrapy环境准备 需要在Anconada里面装scrapy的包以及依赖包,下面的包也装一下。在pycharm里面配置使用Anconada的环境。这里尤其要注意,Anconda的安装路径不能有中文和空格,否则pycharm无法识别Anconda环境,我在这个坑折腾了几个小时才找到原因。 1、Matplotlib 2、pandas 3、sklearn 4、json 5、requests 6、logging 7、redis 8、selenium 9、multiprocessing 10、pyquery 1 阅读详情

相关推荐

【爬虫】使用Scrapy框架进行爬虫详解及示例

本系列为自己学习爬虫的相关笔记,如有误,欢迎大家指正 Scrapy是什麽 Scrapy是一个为了爬取网站数据,提取数据而编写的应用框架。简单来说,它把爬虫的三步:获取网页,解析网页,存储数据都整合成了这个爬虫框架。 Scrapy架构 Scrapy主要的组件有Scrapy Engine(引擎), Scheduler(调度器),Downloader(下载器), Spider(爬虫器), Item Pipeline(管道)。还有两个中间件:Downloader Middlewares(下载器中间件)和Spi.

weixin_51656605的博客 5311

scrapy持久化存储

1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名称 -o xxx.json scrapy crawl 爬虫名称 -o xxx.xml scrapy crawl 爬虫名称 -o xxx.csv 2.基于管道的持久化存储 scrapy框架中已经为我们专门集成好了

shiguanggege的博客 7685

异步爬虫—Scrapy框架

scrapy异步框架核心原理 同步:下一个方法依赖于上一个方法的结果。 异步:下一个方法不依赖于上一个方法的结果。 spiders就是我们写的csdn的博客爬虫文件。scheduler是调度器,将url_s里所有的url地址统一分配,然后发给downloader,让它去向服务器请求下载。还有一个就是去重的功能,去掉重复的url请求。item pipeline用于把io存储,把数据存储到本地。...

weixin_45620570的博客 1118

scrapy adbapi 异步存入mysql的连接持久化

在初始化连接时在参数中添加 cp_reconnect=True dbpool = adbapi.ConnectionPool('pymysql', host='', db='', user='', passwd='', port=3306, charset='utf8mb4', cp_reconnect=True)

qq_37144341的博客 352

数据定时采集,异步持久化存储,可视化

爬虫数据定时采集,异步持久化存储,可视化原来scrapy框架爬取百度热搜还可以这么玩准备阶段pipelines.py处理item定时启动scrapy利用sched+subprocessschedule自定义定时启动如何引入自定义定时启动类数据可视化 原来scrapy框架爬取百度热搜还可以这么玩 本篇文章有点长,纯属记录并分享自己的心得。某一天打开浏览器,百度搜索引擎每天都会推送当天热点信息,它的这个热闹统计是怎么来的呢?然后引起我的注意,能不能每天一醒来就看到到可视化结果,开始了慢慢的摸索。 后来发现和这个

EasonChanLin的博客 649

干货! 一文教会你 scrapy 爬虫框架的基本使用

python爬虫,scrapy爬虫框架的基本使用。包括scrapy框架的介绍和其数据流机制;scrapy的安装和创建项目;最后通过两个实例:爬取Quotes和爬取图片,熟悉scrapy爬虫框架的基本使用。

叶庭云 成为自己的光 2829

python爬取百度图片 持久化存储

import requests import re shuru= input("请输入") print("程序开始") # shuru1= urllib.parse.quote(shuru) headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'} url="https:

地中海的博客 391

微积分,用编程理解高数(python,C,C++)

很好理解,导数中,x是哪一点的导数,dx是精准度,y等于f(x)即函数。导数结果就是瞬时变化率。积分很好理解,a为下限,b为上限,y为函数,结果就是y=f(x)下a到b的面积。只要用定积分代入a=0,b=10(10s)y=x(1*x=1)就得到结果。F(x)为原函数,即微分后的函数是f(x)dx,微分前是F(x)一列车初始速度为10m/s,加速度为。才几十行代码,微积分也不是很难啊。,问速度达到20时车走了多少米。

linhhanpy的博客 1183

Python爬虫——Scrapy框架(附有实战)

大家好!我是霖hero 有一天,我在逛街,突然被一声靓仔打断了我的脚步,回头一看,原来是水果摊阿姨叫我买水果,说我那么靓仔,便宜一点买给我,自恋的我无法拒绝阿姨的一声声靓仔,于是买了很多水果回家,家人问我水果多少钱,结果如何,没错,水果买贵了!今天我们使用scrapy框架来爬取北京新发地价格行情,了解商品价格,家人再也不怕我买贵东西啦。 Scrapy 在爬取之前,我们先来学习一下什么Scrapy框架。 Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,是提取结构性数

霖hero 1万+

给MATLAB安装runtime插件

输入你刚刚下载压缩包的位置(小白提示:在 此电脑 中找到压缩包位置,右键属性复制位置)(!设置好以后然后填写下面输出exe文件的信息,包括文件的名字、作者、Email、公司、概述、描述,下面还可以选择额外的安装选项,exe文件运行需要的其他文件(图像、子程序等)、提供给用户的文件(readme.txt等)(很多方法是官网下载,但在官网下载还是会版本不对应,所以直接在你所用的MATLAB里搜索安装链接最靠谱)(!5.可以打包程序了(你发送文件的人电脑里没有MATLAB也可以查看运行你的程序了)

Pei_hua100的专栏 1万+

《QMT量化实战系列》支持自定义筛选与排序的多因子策略,实测年化收益超100% (1)

公众号推出《QMT量化实战》系列,通过多维度、多策略、多场景讲解QMT量化平台应用,每期附代码解读。本期复现《支持自定义筛选与排序的多因子策略》,策略包含三大核心模块:1. 通过Tushare获取30+财务因子数据;2. 提供灵活筛选机制(支持排除ST股、次新股及特定板块);3. 创新性多因子加权排序系统(支持自定义因子权重组合)。交易逻辑包含动态调仓机制,当持仓标的排名低于阈值时触发卖出。该策略具有高度可配置性,适合不同风险偏好的投资者。(149字)

qq_46262068的博客 1737

【零基础学爬虫】scrapy框架的基本使用

回顾 scrapy是一个非常强大的异步爬虫框架,组件丰富,我们只需要关注爬虫的逻辑即可。本文通过一个scrapy项目实战,来熟悉scrapy的使用 站点分析 目标站点:scrapy官方提供的抓取网站,主要是名人名言、作者标签之类的信息 网页结构非常简单 翻页url: http://quotes.toscrape.com/page/5/ 该网站没有任何的反爬虫措施,结果也很简单 流程框架 实现...

我的博客 302

别再手动配IP了!保姆级教程:用Cisco Packet Tracer搞定DHCP服务器配置(附实验抓包分析)

本文提供了一份详细的Cisco Packet Tracer DHCP服务器配置教程,帮助用户告别手动分配IP的繁琐过程。通过构建多子网实验环境,逐步指导DHCP地址池设置、客户端测试及协议分析,并分享常见问题排查技巧,让网络配置更高效、更智能。

weixin_42535461的博客 342

Python爬虫学习第二章-7-文件存储与使用requests模块的回顾

Python爬虫学习第二章-7-文件存储与使用requests模块的回顾   这一节是文件存储与使用requests模块的回顾 文件保存: fp = open('./alldata.json','w',encoding='utf-8') json.dump(all_data_list,fp=fp,ensure_ascii=False) # 存到json文件中 fp.close() filename = kw+'.html' with open(filename,'w',encoding='utf-8')

BreezeChasingDrizzle 252

RK3566基于Buildroot定制QT开发环境的完整指南

本文详细介绍了如何在RK3566开发板上使用Buildroot定制QT开发环境的完整流程。从基础环境搭建、Buildroot初始配置到QT模块选择与编译验证,提供了实战经验和常见问题解决方案,帮助开发者高效完成嵌入式Linux下的QT开发环境部署。

weixin_26804345的博客 361

【部署】Docker部署OpenClaw及常见问题解决(win11)

给AI单独开一个隔离的小容器,AI执行所有命令、下载文件都在这个小盒子里,就算AI被诱导执行危险命令,也不会影响你Win11本机的文件和系统,是必开的安全功能。Docker容器里的OAuth回调,会尝试在你Win11本机的1455端口捕获认证信息,但容器和Win11本机的网络隔离,导致浏览器访问不到这个回调地址。「挂载」就是把你Win11本机的文件夹,共享给容器里的「虚拟小电脑」,两边都能读写文件,比如你想让AI操作你D盘里的代码文件,就需要挂载。

海兰 4699

python数据分析基本语法:数据类型转换,pandas分组,级联合并操作等

文章目录1.删除无用的列2.数据类型转换成时间序列类型3.将某列做为原始数据的行索引4.定位条件5.计算滚动均值6.pandas分组7.pandas处理空值8.pandas处理重复值9.pandas处理异常值10.python生成日历11.pandas级联操作12.pandas合并操作13.pandas数据排序14.pandas生成随机数15.pandas替换操作16.pandas映射操作17.python透视表18.pandas交叉表 1.删除无用的列 df.drop(labels='列名',axis=1

NotFound_error的博客 916

Kylin操作系统下OpenLDAP安装

Kylin操作系统下OpenLDAP安装

跟着大数据和AI去旅行 1612

使用scrapy框架实现爬虫详解

scrapy.Request中 callback=self.parse,meta={'item': item}传递数据,获取下一页,获取详情页保存到数据库

qq_34553561的博客 1520

*手把手教你学 Simulink——压缩机用永磁同步电机无位置传感器 I‑F 启动(Sensorless I/F Starting)控制仿真

dtdi^α​​zα​e^α​ω^θ^​=Ls​1​(−Rs​i^α​+usα​−zα​)=K⋅sign(i^α​−iα​)=zα​+Kpll​⋅(i^α​−iα​)同理 β=PLL(e^α​,e^β​)=∫ω^dt​。给定 Id​=Iset​, Iq​=f(θopen​)按设定 fstart​(t)Iq​=k⋅sin(θopen​)投影 → 恒幅 Is​=Id2​+Iq2​​。​ 将 Id​,Iq​→ Iα​,Iβ​→ SVPWM。Id​=Ialign​(弱对齐 → 防抖动)

amy_mhd的博客 40

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

java 异步框架_Java互联网架构-高性能异步框架

序言com.lietou.common.asyn4j 封装了一个异步方法调用框架,包括了异步方法执行、异步回调执行、异步方法持久化并且支持Spring.功能:异步工作可以设置执行权重支持异步回调任务持久化及恢复功能Spring 支持定期打印任务运行状态信息一丶普通调用方法例子:主方法public static void main(String[] args) {// 初始化异步工作服务// 默认参...

weixin_33070823的博客 2049

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

scrapy保存到mysql数据库

提取到数据后,编写pipeline.py文件,保存数据到mysql。 1、保存数据库有两种方法: 同步操作:数据量少的时候采用 异步操作:数据量大时采用,scrapy爬取的速度大于数据库插入的速度,当数据量大时就会出现堵塞,就需要采用异步保存。 这里多大的数据量才可定义为大?? 2、须知mysql知识点 数据库与表的创建,基本操作;      参考https://blog.csdn.ne...

loner_fang的博客 1万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

厦门链家网爬虫

泉州信息工程学院 软件学院 课程设计报告书 课 程 名: python 课程设计项目名称: 链家网爬虫设计 团队成员: 李林冰 宋良栋 一、项目简介 1.1 项目博客地址 1.2 项目完成的功能与特色 通过对链家网的爬取后的数据进行分析,让信息图表化 1.3 项目采用的技术栈 python 1.4 项目借鉴源代码的地址 https://www.imooc.c...

weixin_44368106的博客 834

Scrapy- 异步爬虫框架-分布式爬虫scrapy-redis-python爬虫知识点8

一、scrapy简介 优点 可配置、可扩展性非常高 比较灵活,让稳定和快速 基于异步,内部封装了这个twisted异步网络框架,复杂,采用了大量闭包 也提供了可控的速度 队列1,保存每一页的url,爬取数据 爬取的数据 后 保存到队列2中,存放图片的url和名字 线程,去队列中get 图片url 并保存文件 搭好架子 cto 技术总监 架构师 ceo 二、scrapy 的工作流程 引擎–发动机–统筹全局 - 整个框架的核心 调度器–接收从引擎发过来的url,入列,一直工作到没有url了 爬虫程序:整

weixin_43761516的博客 1751

爬虫实战:链家租房数据爬取,实习僧网站数据爬取

前面已经进行了爬虫基础部分的学习,于是自己也尝试爬了一些网站数据,用的策略都是比较简单,可能有些因素没有考虑到,但是也爬取到了一定的数据,下面介绍两个爬过的案例。 爬虫实战链家网站爬取实习僧网站爬取 链家网站爬取 链家网站的爬取不难,我爬取的主要是租房数据,看一下页面: 我需要爬取的字段有房子的名称,小区,面积,朝向,户型,以及房租。 代码比较简单,主要使用了requests和xpath进行爬取...

NotFound_error的博客 3348

爬虫Spider 02 - 数据持久化存储>csv文件 | MySQL数据库 | MongoDB数据库

文章目录爬虫Spider 01 总结请求模块(urllib.request)编码模块(urllib.parse)解析模块(re)抓取步骤爬虫Spider 02 笔记正则分组练习猫眼电影top100抓取案例数据持久化存储数据持久化存储 - csv文件作用使用流程示例代码练习数据持久化存储 - MySQL数据库数据持久化存储 - MongoDB数据库电影天堂二级页面抓取案例**领取任务**实现步骤练习...

哦 卷! 1113
上一篇: 数据库练习题:使用mysql分析销售数据
下一篇: 爬虫实战:链家租房数据爬取,实习僧网站数据爬取
free youreself
博客等级 码龄8年 20粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值