gaogzhen的博客

0101模板生成任务与shell命令执行任务-datax-python工具

02数据存入数据库-视频网站-实践-scrapy框架-python

scrapy框架实践，爬取某网站数据

Scrapy 通过 Feed Exports 开箱即用地提供了此功能，它允许您使用多种序列化格式和存储后端生成带有抓取项目的 Feed，这里序列化格式就是XxxItemExporter。常见的序列化格式常用的URI参数这些参数会被spider同名属性替换，URI示例：常用的存储后端：环境搭建：settings.py 相关通用配置说明：案例还是使用之前爬取csdn个人博客文章为例执行：命令行命令结果示例：把数据传输给feed URI之前，还可以执行过滤掉不想要的数据。这里不再详述，这个工作一般之前

我们爬取数据的目的，就是为了在其他应用或者系统中使用。为了方便使用，我们一般把爬取的数据持久化存储或者导出。关于持久化存储可以去参考之前pipeline章节以及python与数据库部分，这里主要讲解数据导出。为此，Scrapy 提供了一组用于不同输出格式的项目导出器，例如 XML、CSV 或 JSON，以类XxxItemExporter的形式呈现。同样的在使用之前需要先实例化XxxItemExporter，那么我们先来看看都有哪些类。关于JsonItemExporter与JsonLinesItemExpor

文章目录1、pipeline简介2、pipeline结构3、校验检查数据3.1、校验并丢弃不符合要求数据3.2、检查重复数据并丢弃4、存储数据4.1、存入文件4.2、存入数据库5、激活启用pipeline6、实例7、总结1、pipeline简介spider爬取数据后，把数据送到pipeline(管道)。pipeline是实现了几个固定方法的类，这些方法决定提取的数据的去向。pipeline作用清理html数据校验爬取的数据检查重复数据并丢弃存入数据库（文件或者缓存等）2、pipeli

scrapy 中的Item Loader组件使用入门

文章目录1、概述2、Item分类2.1、Dictionaries2.1、Item objects2.2、Dataclass objects2.3、attr.s objects3、Item Object详述3.1、声明Item子类3.2、创建item对象3.3、获取字段值3.4、设置字段值3.5、访问所有的字段或者值3.6、Item与字典相互转换4、案例1、概述Item主要的目标是从数据源，典型的如网页，提取结构化的数据。Spiders可以Item（python定义键值对形式的对象）返回提取好的数据。s

文章目录1、scrapy命令2、项目调试2.1、shell控制台调试2.2、parse命令2.3、日志在编写项目的时候，需要不断的调试代码。同时频繁大量的请求目标网站，可能触发一些安全策略，比如屏蔽IP等等。这时，需要掌握一些调试技巧。在这之前，先了解一些scrapy命令。1、scrapy命令scrapy命令分2类：全局命令和项目命令。# 查看用法帮助和可用的命令scrapy scrapy -h# 查看某个命令的详细信息scrapy <command> -h全局命令：

1、项目简介目标：爬取迁木网世界大学排名及大学基本信息，图示步骤：获取排名当前页中所有大学的链接跳转链接，获取表格中大学的基本信息。2、scrapy创建项目2.1、创建项目创建项目命令：scrapy startproject myproject [project_dir]# 创建我们的项目scrapy startproject qianmu1myproject谁自定义项目名称，路径若不指定，默认为当前路径。2.2、创建spider通过前面知道，spider用于处理响应

1、概述官网架构及执行流程图：官方文档地址:https://docs.scrapy.org/en/latest/topics/architecture.html#components2、scrapy 组件Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

scrapy官方文档地址:https://docs.scrapy.org/en/latest/1、scrapy简介Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。简单说呢就是一个爬虫框架，bb一堆那么怎么用呢？2、入门示例关于scrapy的安装，自行查阅相关文档。以文档scrapy tutorial(scrapy手册)中的示例为例，代码如下：原始页面如下：

1、前言关于基本概念部分这里不再详述，可以参考之前的文章或者自行查阅相关文章。由于python中线程的创建、属性和方法和进程很相似，这里也不再讲解。这里重点讲解下多线程访问共享数据的相关问题。2、多线程数据完全与解决先看下示例：预测并执行看下结果是否和预测一致from threading import Threadsum = 0def minus(): global sum for i in range(1000000): sum += 1def

文章目录1、概念2、进程的创建2.1、Process类简介2.2、创建进程2.3、守护进程3、进程池4、进程间通信1、概念关于进程或者线程的一些基本的概念这里不再详述，给出一些参考链接。进程和程序进程（线程）状态并发和并行同步和异步阻塞和非阻塞参考地址：多线程入门-并发编程(Java)Python基础之进程（Process）2、进程的创建进程的创建因操作系统不同，方式也不一样。因为目前大部分时间本人都是用的windows系统，这里就以windows系统为例讲解，关于linux

1、模块1.1、概念在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。在python中，一个.py文件就称之为一个模块（Module）。模块是代码的一种组织形式，是功能相关或者相似代码的组合。你也许还想到，如果不同的人编写的模块名相同怎么办？为了避免模块名冲突，Python又引入了按目录来组织模块的方法，称为包（

1、继承继承是一种创建新类的方式，新建的类可称为子类或派生类，父类又可称为基类或超类,子类会遗传父类的属性。格式class 子类(父类): pass特点在继承中，基类的构造方法（_init_()方法）不会自动调用，需要在子类的构造方法中显示调用在调用基类的方法时需要加上基类的类名前缀，并带上 self 参数变量。区别于在类中调用普通函数时不需要带 self 参数。在 Python 中，首先查找对应类型的方法，如果在子类中找不到对应的方法，才到基类中逐个查找。子类获得了父类全

1、基本概念对象的含义是指具体的某一个事物，即在现实生活中能够看得见摸得着的事物。在面向对象程序设计中，对象所指的是计算机系统中的某一个成分。在面向对象程序设计中，对象包含两个含义，其中一个是数据，另外一个是动作。对象则是数据和动作的结合体。对象不仅能够进行操作，同时还能够及时记录下操作结果。方法是指对象能够进行的操作，方法同时还有另外一个名称，叫做函数。方法是类中的定义函数，其具体的作用就是对对象进行描述操作。继承简单地说就是一种层次模型，这种层次模型能够被重用。层次结构的上层具有通用性，但是下层结

1、定义通过列表生成式(列表推导式)，我们可以直接创建一个列表。但是受到内存限制，列表容量有限。但是如果列表元素可以按照某种算法推算出来，那么我们就可以在循环的过程中不断推算出后续的元素，而不必直接把全部元素放置在内存中。在python中，这种一边循环一边计算的机制，称为生成器(generator)。如果数据量比较大的情况下，生成器要比类别推导式节省大量内存空间。2、创建方式1：通过推导式g = (x ** 2 for x in range(11))print(type(g))

文章目录1、列表推导式2、字典推导式3、集合推导式1、列表推导式列表推导式提供了一种创建list的简便方法。应用程序创建列表时，列表中的元素来源于其他序列、可迭代对象或创建的一个满足一定条件的序列。格式：[表达式 for 变量 in 可迭代对象] [表达式 for 变量 in 可迭代对象 if 条件] 示例1：获取长度大于3的名字，并且首字母大写names = ['lily', 'abc', 'jack', 'a', 'steven', 'bob']# 获取长度大于3的名字

文章目录1、系统相关2、目录和文件相关3、path模块4、综合os模块是python标准库中一个用于访问操作系统功能的模块。1、系统相关属性或者方法描述os.name获取操作系统类型：'nt’表示windows系统，'posix’表示Linux或者unix系统os.environ系统环境变量os.environ.get(key)获取系统环境变量key对应的valueos.system()执行系统shell2、目录和文件相关属性或者方法描述

文章目录1、open2、相关知识点简介2.1、文本文件和二进制文件2.2、文件的读和写2.3、模式2.4、缓存3、读相关函数4、写相关函数5、close6、with open as 变量名7、文件复制什么情况下会用到文件操作呢？比如现在各种网盘的上传下载资源，各种CMS中头像上传等等。文件操作包括文件创建、读写、复制及文件夹相关操作，具体涉及系统函数open、close及os模块。1、open要操作文件，首先需要建立和文件的联系，此时需要用到系统提供的函数open：打开文件返回流，抛出OSError

文章目录1、递归2、匿名函数2.1、匿名函数与普通函数的对比2.2、匿名函数的多种形式2.3、匿名函数作为参数2.4、lambda函数与Python内置函数配合使用2.5、lambda作为函数的返回值1、递归程序调用自身的编程技巧称为递归（ recursion）。递归做为一种算法在程序设计语言中广泛应用。 一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法，它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解，递归策略只需少量的程序就可描述出解题过程所需要的多次重

文章目录0、函数嵌套1、闭包1.1、概念1.2、条件1.3、闭包陷阱2、装饰器2.1、带参2.2、带返回值2.3、装饰器带参2.4、多个装饰器2.4、小结0、函数嵌套变量名解析：LEGB原则变量名查找：首先从本地（L）查找；本地没有找到，从上一层机构中的def或者lambda的本地作用域（E）;从全局作用域（G）中查找;从内置的模块（B）中查找,第一个出现的地方查找;nonlocal关键字：内部函数想要改变外部函数的变量，需要加nonlocal关键字，示例如下def o

文章目录0、函数的作用1、函数的定义2、函数的参数2.1、位置参数和默认值参数2.2、可变参数args和kwargs2.3、参数顺序3、函数的返回值4、全局变量和局部变量5、可变和不可变类型6、函数注释0、函数的作用函数能够提高代码的复用性，让代码更简洁；封装隔离。1、函数的定义格式def 函数名([参数]): 函数体函数名规范的变量名见名知意多个名称直接下划线分隔，首字母小写2、函数的参数2.1、位置参数和默认值参数位置参数，是必填的，调用函数时不传会报错。

python学习第9天---django框架---模板详解目录文章目录1、模板的功能2、模板文件的使用2.1、使用步骤2.2、示例2.3、封装3、模板文件的加载顺序4、模板语言4.1、模板变量4.2、模板标签4.2.1、 循环：4.2.2、判断4.3、过滤器4.3.1、常用内置过滤器4.3.2、自定义过滤器4.4、模板运算符4.5、模板注释4.5、综合示例6、模板继承7、html转义***后记*** ：内容1、模板的功能 &emps;模板用于生产html,控制页面展示的内容。模板

python学习第8天---django框架---cookie与session目录文章目录1、cookie和session的联系与区别2、应用cookie保存用户名2.1、视图函数2.2、路由2.3、前端页面2.4、效果展示4、session保存登录状态4.1、视图函数4.2、路由4.3、前端页面4.4、效果展示***后记*** ：内容1、cookie和session的联系与区别...

python学习第7天---django框架---视图补充目录文章目录1、书籍管理添加登录模块1.1、 新建登录应用-login1.2、 应用注册1.3、 路由配置1.4、 用户模型类1.5、数据迁移1.6、视图1.7、模板1.8、效果展示2、ajax3、登录案例ajax改进3.1、应用login下urls.py添加路由3.2、 应用login下views.py添加视图函数3.3、 项目/...

python学习第6天---django框架---模型类及数据库操作目录文章目录1、字段与选项2、查询函数3、查询集4、模型类之间的关系4.1、对应关系4.2、关联查询5、模型管理器类5.1、简介5.2、自定义模型管理器类5.3、应用场景5.4、实例6、元选项***后记*** ：内容1、字段与选项  django中字段属性对应数据库表中字段属性，参数对应表中字段约束。格式：...

python学习第5天---django框架---mysql数据库配置使用目录文章目录1、前期准备1.1、创建项目1.2、创建应用1.3、默认数据库配置2、mysql配置2.1、mysql通用配置2.2、命令行新建数据库2.3、安装mysql驱动3、应用功能添加4、效果展示5、注意事项***后记*** ：内容1、前期准备1.1、创建项目  新建项目命令：django-admi...

python学习第4天---django框架---MVT综合小练习目录文章目录1、Django MVT简介2、演示3、代码***后记*** ：内容1、Django MVT简介  Django的MVT模式M： Model, 模型 与MVC中的M相同，负责对数据的处理V： View, 视图 与MVC中的C类似，负责处理用户请求，调用M和T，响应请求T： Template, 模...

python学习第3天---django框架---模板应用目录文章目录1、模板创建2、模板配置3、模板渲染4、模板文件传输数据***后记*** ：内容1、模板创建模板目录：在项目根目录的下创建文件夹，默认名称templates.分级： 一个项目下可能有多个应用，建议给每个应用创建单独的目录，本例创建book目录模板文件：在刚创建的应用目录下创建模板文件，既html文件，本例...

python学习第2天---django框架---视图views目录文章目录1、视图2、视图函数3、配置url：3.1、项目下的urls.py3.2、应用下的urls.py3.3、应用下的views.py3.4、案例：4、url匹配流程5、捕获URL中的值6、错误视图6.1、404错误及视图6.2、500错误及视图7、知识点补充8、参考博文***后记*** ：内容1、视图视图：...

python学习第一天---django框架---后台管理目录文章目录@[toc]后台管理1、本地化1.1、语言1.2、时区2、创建管理员3、创建模型类4、注册模型类5、数据迁移6、自定义管理页面6.1、django应用后台web管理页面6.2、修改模型类对象显示内容后台管理1、本地化  本地化主要包含语言和时区的本地化，通过修改settings.py文件完成。1.1、语言...