- 博客(4)
- 收藏
- 关注
RSS订阅原创 什么是爬虫--Scrapy框架
Scrapy 框架 Scrapy架构图 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EfU6FzAA-1600343300560)(scrapy数据流向.png)] Scrapy主要包括了以下组件： Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受`引擎`发送过来的Request请求，并
2020-09-17 19:54:09
285
原创 多线程和协程
Day05 多线程 在介绍Python中的线程之前，先明确一个问题，Python中的多线程是假的多线程！ 为什么这么说，我们先明确一个概念，全局解释器锁（GIL） 什么是GIL Python代码的执行由Python虚拟机（解释器）来控制,同时只有一个线程在执行。对Python虚拟机的访问由全局解释器锁（GIL）来控制，正是这个锁能保证同时只有一个线程在运行。 为什么要GIL 为了线程间数据的一致性和状态同步的完整性 GIL的影响 只有一个线程在运行，无法使用多核(多个CPU)。 在多线程环境中，Pyt
2020-08-26 15:07:07
1103
原创 你了解 RFESTful API
一、概述 在没有前后端分离的概念之前，一网站的完成总是“all in one ”，在这个阶段，页面 、数据、渲染、全部在服务端完成，这样出现了弊端是后期的维护，扩展及其痛苦，开发人员同时还必须具备前后的知识，于是到后面前后端思想兴起，后端负责数据，前段负责数据渲染，然后用指定的API格式获取数据，对接展示给用户。 关于API这个问题，就是如何设计出一个便于理解，容易使用的API成了一个问题，然而所谓的RFESTful,就是用来规范API的一种约束。 要深刻去理解，可以从以下几个方面进行理解： 1.每一个
2020-08-26 01:31:04
333
原创 python-多进程与高阶函数
一. 进程 进程的概念 python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。 进程的概念： 进程是程序的一次执行过程, 正在进行的一个过程或者说一个任务，而负责执行任务的则是CPU. 进程的生命周期： 当操作系统要完成某个任务时，它会创建一个进程。当进程完成任务之后，系统就会撤销这个进程，收回它所占用的资源。从创建到撤销的时间段就是进程的生命期 进程之间存在并发性： 在一个系统中，同时会存在多个进程。他们轮流占用CPU和
2020-08-25 23:34:40
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人