- 博客(66)
- 收藏
- 关注
RSS订阅转载 Django路由系统
URL配置(URLconf)就像Django所支撑网站的目录。它的本质是URL与要为该URL调用的视图函数之间的映射表。我们就是以这种方式告诉Django，遇到哪个URL的时候，要对应执行哪个函数。URLconf配置基本格式from django.conf.urls import urlurlpatterns = [ url(正则表达式,views视...
2019-07-04 18:47:00
125
转载 数据分析常用操作
数据分析常用的基本操作 1 Numpy 2 np.array() 3 #数组的存储数据类型必须是统一的，如果不是统一的会按照 #str>float>int #转换为统一类型 4 np.array([1,2,3]) #返回一个一维数组 5 arry = np.array([[1,2,3]...
2019-07-01 10:41:00
223
转载 Flask之WTF
Flask-WTF是什么?是一个关于表单的扩展库，可以自动生成表单的HTML代码和验证提交的表单数据，并且提供跨站请求伪造（Cross-Site Request Forgery）保护的功能，使用非常方便使用步骤: 1.创建表单类,实例化对象 2.在模板中使用该对象 3.在试图函数中处理表单定义表单类从 flask_wtf 进口 FlaskForm ...
2019-06-13 20:01:00
184
转载 Celery---一个懂得异步任务,延时任务,周期任务的芹菜
Celery是什么?celey是芹菜celery是基于Python实现的模块,用于执行异步延时周期任务的其结构组成是由 1.用户任务 app 2.管道任务broker用于存储任务 官方推荐redis rabbitMQ /backend 用于存储任务执行结果的 3.员工 workerCelery的简单示例from celery import C...
2019-06-12 16:20:00
794
转载 Python操作excel
python 读写 excel 有好多选择，但是，方便操作的库不多，在我尝试了几个库之后，我觉得两个比较方便的库分别是 xlrd/xlwt、openpyxl。之所以推荐两个库是因为这两个库分别操作的是不同版本的 excel，xlrd 操作的是 xls/xlxs 格式的 excel，而 openpyxl 只支持 xlxs 格式的excel，openpyxl 使用起来会更方便一些...
2019-06-07 15:55:00
104
转载 ORM查询相关的操作
必知必会13条import osos.environ.setdefault("DJANGO_SETTINGS_MODULE", "orm_practice.settings")import djangodjango.setup() #以上为脚本，可以在manage.py中获得from app01 import models# a...
2019-06-07 15:45:00
111
转载 数据库优化
sql语句优化选择使用适合的存储引擎使用缓存查询，虽然大多数已经开启缓存了。查询时避免使用*,要换成具体的字段名称建立合适的索引使用limit 条件使用join表的时候使用相同的类型，并将其索引。设置主键索引，并设置自增，需要加上UNSIGNED约束条件使用ENUM类型，比如性别，民族，国家等。尽可能的使用NOT NULL使用c...
2019-06-02 15:29:00
89
转载 SQl编程存储过程
过程化存储存储过程，一组为完成特定功能、经过编译后存储在数据库中的SQL语序集灵活性：存储过程中可以进行流程控制和循环操作来完成复杂的判断和运算一致性：通过存储过程可以使一些关联的操作一起发生，从而维护了数据库的完整性高效性：存储过程有效减少了数据库开发人员和程序员的工作量语法CREATE PROCEDURE SP_...
2019-06-02 15:15:00
339
转载 Sql专题
创建用户和授权创建用户- 创建用户 create user fuqiang@localhost;-- 设置密码use mysql;update user set password=password('123456') where user='fuqiang';-- 一条数据创建用户并设置密码create user jack@localhost id...
2019-06-02 15:14:00
106
转载 Cookie和Session
Cookie的由来无状态的意思是每次请求都是独立的，它的执行情况和结果与前面的请求和之后的请求都无直接关系，它不会受前面的请求响应情况直接影响，也不会直接影响后面的请求响应情况。一句有意思的话来描述就是人生只如初见，对服务器来说，每次的请求都是全新的。状态可以理解为客户端和服务器在某次会话中产生的数据，那无状态的就以为这些数据不会被保留。会话中产生的数据又是我们需要保存的，也...
2019-06-02 13:05:00
119
转载 Csrf
csrf中间件 csrf跨站请求伪造 Django框架中请求伪造保护机制装饰器from django.views.decorators.csrf import csrf_exempt,csrf_protectcsrf_exempt 加在视图上，表示当前视图不进行csrf校验csrf_protect 加在视图上，表示当前视图进行csrf校验注...
2019-06-02 12:57:00
75
转载 Django中间件
Django中间件django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。在django项目的settings模块中，有一个 MIDDLEWARE变量，其中每一个元素就是一个中间件，如下图。django中间件就是一个类，在全局范围内处理django的输入和输出...
2019-06-02 12:51:00
83
转载 ORM操作
ORM介绍（Object Relational Mapping(ORM)ORM概念对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。ORM在业务逻辑层和数据库层之间充当了桥梁的作用...
2019-06-01 18:28:00
110
转载 Django框架简介
MVC框架和MTV框架MVC，全名是Model View Controller，是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)，具有耦合性低、重用性高、生命周期成本低等优点。想要更详细的了解MVC模式? >>点我Django框架的设计模式借鉴了MVC框架的思想，也是分成三部分，...
2019-05-31 20:01:00
73
转载 Django的安装和项目的启动
一、安装（安装最新LTS版）：1.命令行安装pip install django==1.11.18 -i 源2.pycharm 安装二、创建项目1、命令行创建下面的命令创建了一个名为"mysite"的Django 项目：django-admin startproject mysite2、pycharm创建目录介绍：...
2019-05-31 20:00:00
94
转载 实现单例模式的几种方法
单例模式单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。比如，某个服务器程序的配置信息存放在一个文件中，客户端通过一个 AppConfig 的类来读取配置文件的信息。如果在程序运行期间，有很多地方都需要使用配置文件的内容，也就是说，很多地方...
2019-05-31 19:53:00
108
转载 基本数据结构----队列
队列 - 概念：队列是项的有序结合，其中添加新项的一端称为队尾，移除项的一端称为队首。当一个元素从队尾进入队列时，一直向队首移动，直到它成为下一个需要移除的元素为止。最近添加的元素必须在队尾等待。集合中存活时间最长的元素在队首，这种排序成为 FIFO，先进先出，也被成为先到先得。 - 案例：队列的最简单的例子是我们平时不时会参与的列。排队等待电影，在杂货店的收营台等待，在自助...
2019-05-29 10:01:00
75
转载 基本数据结构----栈
线性数据结构 - 我们从四个简单但重要的概念开始研究数据结构。栈，队列，deques（双向队列）, 列表是一类数据的容器，它们数据元素之间的顺序由添加或删除的顺序决定。一旦一个数据元素被添加，它相对于前后元素一直保持该位置不变。诸如此类的数据结构被称为线性数据结构。 -线性数据结构有两端，有时被称为左右，某些情况被称为前后。你也可以称为顶部和底部，名字都不重要。将两个线性数据...
2019-05-29 09:58:00
81
转载 数据结构&算法的引言&时间复杂度
什么是计算机科学? 首先明确的一点就是计算机科学不仅仅是对计算机的研究，虽然计算机在科学发展的过程中发挥了重大的作用，但是它只是一个工具，一个没有灵魂的工具而已。所谓的计算机科学实际上是对问题、解决问题以及解决问题的过程中产生产生的解决方案的研究。例如给定一个问题，计算机科学家的目标是开发一个算法来处理该问题，最终得到该问题的解、或者最优解。所以说计算机科学也可以被认为是对算法的研...
2019-05-29 09:45:00
99
转载 Redis主从同步
redis主从同步原理：1. 从服务器向主服务器发送 SYNC 命令。2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。4. 主服务器将缓冲区储存的所有写命令发送给从服务器执行。-----...
2019-05-28 17:45:00
103
转载 Redis不重启的情况下 切换持久化模式
确保redis版本在2.2以上[root@localhost /]# redis-server -vRedis server v=4.0.10 sha=00000000:0 malloc=jemalloc-4.0.3 bits=64 build=dd95360bd81d32b4本文在redis4.0中，通过config set命令，达到不重启redis服务，从RD...
2019-05-28 17:43:00
351
转载 Redis的持久化存储
概念redis持久化： Redis是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。RDB持久化存储redis提供了RDB持久化的功能，这个功能可以将redis在内存中的的状态保存到硬盘中，它可以手动执行。也可以再redis.conf中配置，定期执行。RD...
2019-05-28 15:40:00
88
转载 Redis的发布和订阅
发布publish订阅subscribeRedis 通过PUBLISH、SUBSCRIBE等命令实现了订阅与发布模式。举例1：qq群的公告，单个发布者，多个收听者发布/订阅 实验发布订阅的命令PUBLISH channel msg 将信息 message 发送到指定的频道 channelSUBSCRIBE...
2019-05-28 15:20:00
97
转载 Redis的介绍以及安装
redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库，缓存和消息中间件高速缓存介绍高速缓存利用内存保存数据，读写速度远超硬盘高速缓存可以减少 I/O 操作，降低 I/O 压力Redis是Vmware开发的开源免费的KV型NoSQL缓存产品Redis具有很好的性能，最多可以提供10万次/秒的读写目前新浪微博团队...
2019-05-27 20:52:00
125
转载 Django 中实现连接多个数据库并实现读写分离
读写分离其基本原理就是让主数据库处理事务性增,改,删操作(INSERT,UPDATE,DELETE)操作,而从数据库处理SELECT查询操作,数据库复制被用来把事物性操作导致的变更同步到其他从数据库,以SQL为例,主数据库负责写数据,读数据,读库仅负责读数据,每次有写库操作,同步更新到读库,写库就一个,读库可以有多个,采用日志同步的方式实现主库和多个数据库的数据同步具体配置如下...
2019-05-27 16:40:00
171
转载 Git之多人协同开发
一、获取远程库信息$ git remote -vorigin https://github.com/xxxxx/node.git (fetch)origin https://github.com/xxxxx/node.git (push) 二、克隆远程库$ git clone https://github.com/fuxinran/node.git...
2019-05-23 15:09:00
116
转载 GIT之分支管理
分支管理一、分支推进主分支单线分支，随着代码的提交而形成的一条直线，HEAD 随着commit提交之后的节点移动而移动。子分支当切换到子分支的时候，HEAD 则指向子分支的节点。在子分支上commit提交，则子分支到下一个节点，主分支不变。切换到主分支上，HEAD 则指向主分支。当主分支合并子...
2019-05-23 15:07:00
90
转载 Git使用指南
Git使用指南配置全局信息用户信息配置$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com" 创建初始仓库创建一个版本库文件夹 md F:\\learngit初始化仓库 $ cd f:/learngit...
2019-05-23 14:53:00
61
转载 Git的介绍以及安装
Git的简单介绍Git是一个开源的分布式版本控制系统,可以有效,高速的处理从很小到非常大的项目管理,GIT是为了帮助linux内核开发而开发的一个开放源码的版本控制软件Git的安装Linux平台上的安装Git 的工作需要调用 curl，zlib，openssl，expat，libiconv 等库的代码，所以需要先安装这些依赖工具。在有 yum 的系统上（比如 ...
2019-05-23 14:49:00
84
转载 简单的二分查找法
二分查找法def search(num,l,start=None,end=None): start = start if start else 0 end = end if end is not None else len(l) - 1 mid = (end - start)//2 + start if start > end: ...
2019-05-20 11:43:00
146
转载 爬虫之三种解析方式
数据解析的原理 1.实现标签的定位 2.将标签中的存储的文本内容或者相关的属性值进行提取正则单字符： . : 除换行以外所有字符 [] ：[aoe] [a-w] 匹配集合中任意一个字符 \d ：数字 [0-9] \D : 非数字 \w ：数字、字母、下划线、中文 ...
2019-05-11 15:51:00
185
转载 爬虫之Selenium
简介selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器作用： 可以让浏览器完成相关自动化的操作和爬虫的关联：模拟登陆可以获取动态加载的页面数据编码...
2019-05-11 15:22:00
1059
转载 处理爬虫遇到的乱码问题
在我们爬取网页的时候,可能会遇到乱码的问题,解决这种的乱码的问题有一种通用的方法import requestsfrom lxml import etreeurl = 'http://pic.netbian.com/4kqiche/'headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; ...
2019-05-11 15:19:00
276
转载 高性能的异步爬虫
三种方式: 1.多进程多线程(不建议) 2.进程池或者线程池(适当) 3.单线程+异步协程(推荐)多进程多线程占用cpu资源,不建议使用基于线程池的异步爬虫from multiprocessing.dummy import Poolimport timedef request(url): print('downloading...
2019-05-07 21:35:00
124
转载 Python爬虫框架--Scrapy安装以及简单实用
scrapy框架框架 -具有很多功能且具有很强通用性的一个项目模板环境安装: Linux： pip3 install scrapy Windows： a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twi...
2019-05-07 20:13:00
107
转载 Python--网络爬虫模块requests模块之响应--response
当requests发送请求成功后，requests就会得到返回值，如果服务器响应正常，就会接收到响应数据；Response响应中的属性和方法常用属性：status_code:数据类型：int作用：返回HTTP响应的状态码：200、404、500、等reason:数据类型：str作用：返回HTTP响应的描述：OK、Not Found、等...
2019-05-06 19:58:00
410
转载 用Pycharm创建指定的Django版本
最近在学习胡阳老师（the5fire）的《Django企业级开发实战》，想要使用pycharm创建django项目时，在使用virtualenv创建虚拟环境后，在pycharm内，无论如何都无法导入正确的环境。通常是提示 django is not importable in this environment。研究许久，现把 PyCharm 创建指定版本的 Django 的方法记录如下。...
2019-05-06 19:55:00
155
转载 python网络爬虫之requests模块
什么是requests模块: requests模块是python中原生的基于网路请求的模块,其主要作用是用来模拟浏览器发送请求,功能强大,用法简洁高效,在爬虫的领域占半壁江山如何使用requests模块: 安装:pip install requests 使用流程: 1.指定url 2.发送请求 3.获取数据 4.持久化存储...
2019-04-30 21:08:00
153
转载 Python---异常处理
异常和错误错误: 开发过程中难免出现错误，而错误分成两种 1、语法错误（这种错误，根本过不了python解释器的语法检测，必须在程序执行前就改正） 2、逻辑错误（逻辑错误）异常: 异常就是程序运行时发生错误的信号，在python中,错误触发的异常如下： python中的异常种类: 在python中不同的异常可以用不同的类型（py...
2019-04-29 17:30:00
76
转载 Python函数的装饰器修复技术(@wraps)
@wraps 函数的装饰器修复技术，可使被装饰的函数在增加了新功能的前提下，不改变原函数名称，还继续使用原函数的注释内容； 方便了上下文环境中不去更改原来使用的函数地方的函数名； 使用方法 from functools import wrapsdef 装饰器(func): #写装饰器 @wraps(func) #使用装饰器修复...
2019-04-28 21:05:00
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人