mannixiang-优快云博客

原创 8. scrapy框架

scrapy框架版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点scrapy基本使用scrapy的数据持久化存储scrapy基于spider类的全站数据爬取请求传参与五大核心组件scrapy图片数据爬取scrapy中间件scrapy中selenium的应用scrapy基于CrawlSpider类的全站数据爬取scrapy分布式1. scrapy基本使用

2021-05-22 09:46:58 832

原创 7. selenium模块

selenium模块版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点selenium简介selenium基本使用selenium实例1. selenium简介selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入

2021-05-20 19:32:15 359

原创 6. 高性能异步爬虫

高性能异步爬虫版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点线程and线程池异步协程多任务异步协程aiohttp1. 线程and线程池1.1 引子本节课，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等

2021-05-20 17:04:06 484

原创 5. requests模块高级

requests模块高级版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点requests模块的Cookies处理requests模块的代理IP操作1. requests模块的Cookies处理1.1 会话和Cookies在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问，而且登录之后可以连续访问很多次网站，但是有时候过一段时间

2021-05-20 11:54:13 244

原创 4. 验证码识别

验证码版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点超级鹰验证码服务平台使用1. 引子1.1 what is 验证码？验证码是一种区分用户是计算机还是人的公共全自动程序。验证码可以防止：恶意破解密码、刷票、论坛灌水，有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断的登陆尝试，实际上用验证码是现在很多网站通行的方式，我们利用比较简易的方式实现了这个

2021-05-19 17:15:15 2158 1

原创 3. 数据解析

数据解析版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点正则表达式解析bs4解析xpath解析1. 引子回顾requests模块实现数据爬取的流程：指定url发起请求获取响应数据持久化存储其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据

2021-05-18 19:59:39 344

原创 2. requests模块基础

requests模块基础版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点requests模块简介requests模块实战1. requests模块简介1.1 引子在python实现的网络爬虫中，用于网络请求发送的模块有两种，第一种为urllib模块，第二种为requests模块。urllib模块是一种比较古老的模块，在使用的过程中较为繁琐和不便。当reques

2021-05-18 17:01:02 173

原创 1. 爬虫基础简介

爬虫基础简介版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点爬虫的概念爬虫的价值爬虫的合法性探究爬虫初识深入http&https协议1. 爬虫的概念1.1 前戏亲爱的观众朋友们：你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源…你是否在节假日出行高峰的时候，想快速抢购火车票成功…你是否在网上购物的时候，想快速且精准的定位到口

2021-05-18 15:29:05 247

原创 2. 博客项目（三）

博客项目（三）本节实现博客主页、个人博客页、文章详情页、文章点赞与踩、文章评论（评论树和评论楼）等功能。1. 博客主页、个人博客页1.1 配置路由urlpatterns = [ ... # 主页 path('index/', views.index), re_path('^$', views.index), # 个人博客url re_path('^(?P<username>\w+)/$', views.home_site), # 个

2021-04-23 10:45:21 380

原创 2. 博客项目（二）

博客项目（二）版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节实现文章的后台管理，包括文章、文章分类、文章标签的增删改查功能。1. 补充知识点-富文本框的使用KindEditor 是一套开源的在线HTML编辑器，主要用于让用户在网站上获得所见即所得编辑效果，开发人员可以用 KindEditor 把传统的多行文本输入框(textarea)替换为可视化的富文本输入框。 KindEd

2021-04-22 17:39:23 165

原创 2. 博客项目（一）

博客项目（一）版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/1. 项目分析本项目是在图书管理项目的基础上开发一个BBS博客系统，博客系统具有用户主页、文章详情页、评论、点赞与踩等功能。项目需求如下：基于ajax和用户认证组件实现登录验证基于ajax和form组件实现注册功能系统首页文章列表的渲染个人站点页面设计文章详情的继承点赞与踩评论功能富文本编辑器的使用防

2021-04-22 15:30:46 132

原创 1. 图书管理项目

图书管理项目版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/1. 需求分析本项目是基于Django实现图书增删改查功能，是对Django基础内容的综合应用，因本人初学，水平有限，代码仅供参考。项目需求如下：扩展Auth模块自定义用户表实现用户登录、注册列出图书列表、出版社列表、作者列表点击作者，会在新的页面列出该作者出版的图书列表点击出版社，会列出该出版社旗下图书列表可

2021-04-20 22:41:38 434

原创 14. Django 中间件

Django 中间件版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点中间件介绍自定义中间件中间件的执行流程中间件版登录验证1. 引子我们在前面的课程中通过给视图函数加装饰器来判断是用户是否登录，把没有登录的用户请求跳转到登录页面。但是在有很多视图函数的情况下，需要给每个视图函数都加上装饰器，还是有点繁琐。学完今天的内容之后，我们就可以用更适宜的方式来实现类似给

2021-04-20 12:01:54 188

原创 13. Django Auth组件

Django 用户认证（Auth）组件版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点auth模块Auth组件实例Auth组件扩展1. 引子我们在开发一个网站的时候不可避免的需要涉及实现网站的用户系统，需要实现包括用户注册、用户登录、用户认证、注销、修改密码等功能，很明显这是一个重复繁琐的过程。还好Django内置了用户认证（Auth）组件，该组件一般用在用户的

2021-04-16 11:52:28 125

原创 12. Django cookie与session

Django cookie与session版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点cookiesession1. cookie1.1 cookie的由来在了解cookie之前，我们需要先了解一下什么是会话？可以把会话理解为客户端与服务器之间的一次会晤，在一次会晤中可能会包含多次请求和响应。在Web服务中，客户向某一服务器发出第一个请求开始，会话就

2021-04-15 15:11:09 149

原创 11. Django Form组件

Django Form组件版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点Form简介Form组件入门Form组件进阶Form组件使用Ajax上传文件实例1. Form简介我们在HTML页面中利用form表单向后端提交数据时，一般都会手动创建一些获取用户输入的标签，此时在很多场景下都需要对用户的输入做校验（比如校验用户是否输入，输入的长度和格式等正不正确），如果

2021-04-14 17:41:16 241

原创 10. Django 分页器

Django 分页器版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点Django分页器相关类Django分页器的实现Django分页器的优化1 Django分页器相关类1.1 介绍Django提供了一个内置类来帮助管理分页数据，这个模块存放在django.core.paginator.py。其中有两个核心类，一个是Paginator类，另一个是Page类。1

2021-04-13 19:54:32 376 2

原创 9. Ajax与文件上传

Ajax与文件上传本节重点jQuery实现Ajax基于Ajax实现的文件上传1. Ajax1.1 Ajax准备知识：JSON什么是 JSON ？JSON 指的是 JavaScript 对象表示法（JavaScript Object Notation）JSON 是轻量级的文本数据交换格式JSON 独立于语言JSON 具有自我描述性，更易理解JSON 使用 JavaScript 语法来描述数据对象，但是 JSON 仍然独立于语言和平台。JSON 解析器和 JSON 库支持许多不同的

2021-04-13 10:43:43 210

原创 8. Django 模型（二）

Django 模型（二）版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点多表实例聚合查询与分组查询F查询与Q查询锁和事务Django ORM执行原生SQL1. 多表实例表与表之间的关系可分为以下三种：一对一: 一个人对应一个身份证号码，数据字段设置 unique。一对多: 一个家庭有多个人，一般通过外键来实现。多对多: 一个学生有多门课程，一个课程有很

2021-04-09 22:03:11 244

原创 7. Django 模型（一）

Django 模型(一)版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点ORM简介模型（Model）单表实例ORM常用字段及参数1. ORM简介MVC或者MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库，通过简单的配置就可以轻松更换数据库，这极大的减轻了开发人员的工作量，不需要面对因数据库变更而

2021-04-08 20:32:30 367

原创 6. Django 模板

Django 模板版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点模板之变量模板之过滤器模板之标签自定义标签和过滤器静态文件配置模板继承引子你可能已经注意到我们在上一节例子视图中返回文本的方式有点特别。也就是说，HTML被直接硬编码在 Python代码之中。def current_datetime(request): now = datetime

2021-04-07 21:08:06 139

原创 5. Django 视图

Django 视图版权声明：本博客转载自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点视图函数请求对象（HttpRequest）响应对象（HttpResponse）1. 视图函数一个视图函数，简称视图，是一个简单的 Python 函数，它接受 Web 请求并且返回 Web 响应。响应可以是一个 HTML 页面、一个 404 错误页面、重定向页面、XML 文档、或者一张图片…无论

2021-04-07 14:34:24 85

原创 4. Django 路由

Django 路由版权声明：本博客来自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/本节重点路由（URLconf）简介正则路径中的分组路由分发反向解析命名空间1. 路由（URLconf）简介路由简单的来说就是根据用户请求的 URL 链接来判断对应的处理程序，并返回处理结果，也就是 URL 与 Django 的视图建立映射关系。Django 路由在 urls.py 配置，urls.py

2021-04-02 17:33:56 217

原创 3. Django 简介

Django框架简介本节重点MVC框架和MTV框架Django的下载与基本命令基于Django实现的一个简单实例Django模板和静态文件设置Django基础必备三件套1. MVC与MTV模型1.1 MVCMVC，全名是Model View Controller，是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)，具有耦合性低、重用性高、生命周期成本低等优点。模型负责业务对象与数据库的映射(ORM)，视图负

2021-04-01 15:46:41 241 1

原创 2. Web框架

2. web框架版权声明：本博客来自路飞学城Python全栈培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/web框架本质我们可以这样理解：所有的Web应用本质上就是一个socket服务端，而用户的浏览器就是一个socket客户端。Web框架（Web framework）是一种开发框架，用来支持动态网站、网络应用和网络服务的开发。这大多数的web框架提供了一套开发和部署网站的方式，也为web行为提供了一套通用的方法。web框架已

2021-04-01 15:10:48 116

转载 day21 网络编程（下）

day21 网络编程（下）版权声明：本博客转载自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/课程目标：学会网络编程开发的必备知识点。今日概要：OSI7 层模型TCP和UDP粘包阻塞和非阻塞IO多路复用1. OSI 7层模型OSI的7层模型对于大家来说可能不太好理解，所以我们通过一个案例来讲解：假设，你在浏览器上输入了一些关键字，内部通过DNS找到对应的IP后，再发送数据时

2021-04-01 11:50:57 111

转载 day20 网络编程（上）

day20 网络编程（上）版权声明：本博客转载自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/课程目标：掌握网络相关的基础知识并可以基于Python开发程序（基于网络进行数据传输）。课程概要：网络必备基础网络编程（Python代码）B/S和C/S架构1.必备基础你必须了解的网络相关设备和基础概念。1.1 网络架构假设 alex 上了一个野鸡大学买了一台电脑，电脑里存了1部小电影，整

2021-04-01 11:37:10 525

转载 day19 面向对象高级和应用

day19 面向对象高级和应用版权声明：本博客转载自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/课程目标：掌握面向对象高级知识和相关应用。今日概要继承【补充】内置函数【补充】异常处理反射1. 继承【补充】对于Python面向对象中的继承，我们已学过：继承存在意义：将公共的方法提取到父类中，有利于增加代码重用性。继承的编写方式：# 继承class Base(objec

2021-04-01 11:12:41 151

转载 day18 面向对象进阶

day18 面向对象进阶版权声明：本博客转载自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/课程目标：掌握面向对象进阶相关知识点，能沟通更加自如的使用面向对象来进行编程。今日概要：成员变量实例变量类变量方法绑定方法类方法静态方法属性成员修饰符（公有/私有）“对象嵌套”特殊成员1.成员面向对象中的所有成员如下：变量实例变量类变量

2021-04-01 11:01:14 314

原创 1. Web基础

Web基础版权声明：本博客转载自路飞学城Python全栈开发培训课件，仅用于学习之用，严禁用于商业用途。欢迎访问路飞学城官网：https://www.luffycity.com/Web应用Web应用程序是一种可以通过Web访问的应用程序，程序的最大好处是用户很容易访问应用程序，用户只需要有浏览器即可，不需要再安装其他软件。应用程序有两种模式C/S、B/S。C/S是客户端/服务器端程序，也就是说这类程序一般独立运行。而B/S就是浏览器端/服务器端应用程序，这类应用程序一般借助谷歌，火狐等浏览器来运行。

2021-04-01 10:41:07 102

AdventureWorks示例数据库

空空如也