- 博客(49)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 CSRF
Django中的CSRFCSRF（Cross Site Request Forgery, 跨站域请求伪造） CSRF 背景与介绍CSRF（Cross Site Request Forgery, 跨站域请求伪造）是一种网络的攻击方式，它在 2007 年曾被列为互联网 20 大安全隐患之一。其他安全隐患，比如 SQL 脚本注入，跨站域脚本攻击等在近年来已经逐渐为众人熟知，很
2017-11-17 17:02:00
390
转载 gevent和tornado异步
阅读目录从 Tornado 说起再来看下 Gevent总要总结一下原文：http://www.pywave.com/2012/08/17/about-gevent-and-tornado/还是前几月的时候，几乎在同一时间，自己接触到了 Gevent 和 Tornado 这两个已经不新的东西，那时那个 思绪混乱啊！似乎都支持异步，似乎都是无阻塞（non-blocking）
2017-11-16 10:06:43
1013
转载 进程、线程、协程区别
现在多进程多线程已经是老生常谈了，协程也在最近几年流行起来。python中有协程库gevent，py web框架tornado中也用了gevent封装好的协程。本文主要介绍进程、线程和协程三者之间的区别。一、概念 1、进程进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间，不同进程通过进
2017-09-20 18:06:45
413
转载 kafka部署模式
1)单broker模式2)单机多broker模式 (伪集群)3)多机多broker模式 (真正的集群模式)第一种单broker模式 1.下载Kafka：http://kafka.apache.org/downloads.html 2. 解压Kafka：tar xvf kafka_2.9.1-0.8.2.1.tgz 解压到/usr/local
2017-08-21 16:02:10
413
转载 链表
链表的定义： 链表(linked list)是由一组被称为结点的数据元素组成的数据结构，每个结点都包含结点本身的信息和指向下一个结点的地址。由于每个结点都包含了可以链接起来的地址信息，所以用一个变量就能够访问整个结点序列。也就是说，结点包含两部分信息：一部分用于存储数据元素的值，称为信息域；另一部分用于存储下一个数据元素地址的指针，称为指针域。链表中的第一个结点的地址存储在一个单独的结点
2017-08-18 17:46:28
184
转载 正则表达式
1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用
2017-08-18 17:45:04
346
转载 django第三部 模板
Django之模板语言一、模板语言介绍模板语言渲染的整个过程其实就是将html转换成函数，并为该函数提供全局变量，然后执行该函数二、模板语言的语法模板中也有自己的语言，该语言可以实现数据展示# 业务请求处理做的页面渲染return render("request", "template.html", {"k1": "v1", "k2":
2017-08-18 17:43:57
399
转载 django第二部 路由
Django之路由系统一、路由系统介绍在django程序中，可以通过urls.py文件对所有的url进行任务的分配，根据路由规则的定义选择不同的业务处理函数进行处理二、路由规则定义1、路由规则代码如下，mysite/mysite/urls.pyfrom django.conf.urls import url, includefrom django.co
2017-08-18 17:42:52
288
转载 django第一步
Django之牛刀初试一、Django安装1、使用pip安装djangopip3 inistall django2、将django-admin加入到环境变量中# 如果是windows的系统需要操作这一步，linux和mac不需要C:\Python34\Scripts\django-admin.exe 找到自己对应路径的django-admin.exe程序
2017-08-18 17:41:53
350
转载 Python字符
1. 字符编码简介1.1. ASCIIASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的英文字符和许多的控制符号。不过ASCII只用到了其中的一半（\x80以下），这也是MBCS得以实现的基础。1.2. MBCS
2017-08-17 18:21:42
233
转载 redis常用命令
假设两台Redis服务器，ip分别为：192.168.1.101和192.168.1.103，如何在101上通过Redis-cli访问103上的redis呢？在远程连接103之前，先讲下redis-cli的几个关键参数：用法：redis-cli [OPTIONS] [cmd [arg [arg ...]]]-h ，默认是127.0.0.1-p ，默认是6379-a
2017-08-17 18:20:39
190
转载 tcp三次握手原理
TCP/IP协议不是TCP和IP这两个协议的合称，而是指因特网整个TCP/IP协议族。从协议分层模型方面来讲，TCP/IP由四个层次组成：网络接口层、网络层、传输层、应用层。TCP协议：即传输控制协议，它提供的是一种可靠的数据流服务。当传送受差错干扰的数据，或举出网络故障，或网络负荷太重而使网际基本传输系统不能正常工作时，就需要通过其他的协议来保证通信的可靠。TCP就是这样的协议。
2017-08-16 10:20:51
330
转载 python正则表达式
1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语
2017-08-16 09:35:13
225
转载 django+gunicorn+nginx
最近在搞有关于web的东西，学习了有关于Python的django框架，这个框架对于熟悉web的人来说非常容易上手，即使对于我这种之前对于web没有什么概念的人，用了十天左右也可以搭建出来一个小型的网站系统。django自带有一个开发服务器，运行代码为：[plain] view plain copy print?python manage.p
2017-08-15 14:55:55
315
转载 Python with解释
With语句是什么？Python’s with statement provides a very convenient way of dealing with the situation where you have to do a setup and teardown to make something happen. A very good example for this is t
2017-07-12 14:05:14
495
转载 celery supdervisor redis使用实例
python celery异步任务队列(redis + supervisor)2015年11月15日 Python 评论 1 条 阅读 8,591 views 次 PDF下载：python-celery.pdf celery简介：celery是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。 celery是用Pytho
2017-07-06 14:59:30
956
转载 celery配置使用
一. celery 简介Celery 是一个专注于实时处理和任务调度的分布式任务队列, 同时提供操作和维护分布式系统所需的工具.. 所谓任务就是消息, 消息中的有效载荷中包含要执行任务需要的全部数据.Celery 是一个分布式队列的管理工具, 可以用 Celery 提供的接口快速实现并管理一个分布式的任务队列.Celery 本身不是任务队列, 是管理分布式任务队列的工具.
2017-07-06 14:58:02
21029
转载 redis安装
简单介绍redis以及ubuntu和windows下如何安装redis和配置文件详解07net01.com 发布于 2015-08-22 01:48:02分类：IT技术阅读(57)评论机缘巧合决定了解一下redis。首先看个关于数据库的图，让想学数据库的同学有一个整体的概念。好勒，下面说redis。了解redisRedis是一个开源，先进的key-value存储
2016-06-21 16:50:49
419
转载 Ubuntu中Nginx的安装与配置
Ubuntu中Nginx的安装与配置1.Nginx介绍 Nginx是一个非常轻量级的HTTP服务器，Nginx，它的发音为“engine X”， 是一个高性能的HTTP和反向代理服务器，同时也是一个IMAP/POP3/SMTP 代理服务器。2.对PHP支持 目前各种web 服务器对PHP的支持一共有三种： （1）通过web 服务器内置的模块来实现，例如A
2016-06-21 14:25:50
418
转载 urllib2 cookielib
1.cookielib模块cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源。例如可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送。coiokielib模块用到的对象主要有下面几个：CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJ
2016-04-19 19:22:33
485
转载 mysql-python安装的各种坑
有必要记录一下Virtualenv中，用PIP进行包安装遇到诸多问题及解决办法，否则以我健忘的性格，过后肯定又不记得自己是如何解决的了。以MySQL-python为例，但是与其他模块的错误应该也有共同之处的。本人系统：Win7 64bit +python2.7+MySQL5.5+Virtualenv问题1.各类找不到包的问题仔细检查pip install package-name中pa
2016-04-13 13:56:34
8860
转载 kafka入门
问题导读http://www.aboutyun.com/thread-12882-1-1.html1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leade
2016-03-28 19:16:01
542
转载 Django静态文件配置
本文目的最近用django开发项目，发现django的静态文件（js，css和img等）配置比较麻烦，开发环境和生产环境的配置还不一样，这里记录一下，作为备忘。我当前使用的版本是django v1.4.3。吐槽：django的版本不兼容是个大问题，网上搜索相关问题时，解决方案到是一大推，但是均没有标注版本，导致均不能适用当前版本，走了不少弯路。 开发环境配置需要下面几个步骤
2015-12-11 19:38:40
508
转载 Tornado源码分析之http服务器篇
Tornado源码分析之http服务器篇博客分类： Pythonwebtornado源码分析pythonhttp服务器 一. Tornado是什么?Facebook发布了开源网络服务器框架Tornado，该平台基于Facebook刚刚收购的社交聚合网站FriendFeed的实时信息服务开发而来.Tornado由Python编写，是一款轻量级的We
2015-11-27 21:27:09
528
转载 python xlwt写excel格式控制 颜色、模式、编码、背景色
转载▼(二） 关于写excel的格式控制，比如颜色等等import xlwtfrom datetime import datetime font0 = xlwt.Font()font0.name = 'Times New Roman'font0.colour_index = 2font0.bold = True style0 =
2015-11-13 09:50:27
34640
转载 线程池的研究及实现
什么是线程池？诸如web服务器、数据库服务器、文件服务器和邮件服务器等许多服务器应用都面向处理来自某些远程来源的大量短小的任务。构建服务器应用程序的一个过于简单的模型是：每当一个请求到达就创建一个新的服务对象，然后在新的服务对象中为请求服务。但当有大量请求并发访问时，服务器不断的创建和销毁对象的开销很大。所以提高服务器效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创
2015-10-23 15:15:54
346
转载 linux下c环境搭建
1.1 关于Linux下的C开发环境我使用的Ubuntu 12.10，自带Gcc。对于初学者，我还是更倾向于VIM+GCC+gdb。有助于我们了解很多编译、链接、调试等细节。当然，好的IDE，确实可以提高开发效率，有效的组织文件，方便调试。我这里使用的是Eclipse+cdt+g++ + gdb。显示google了一大堆资料，关于如何配置Eclipse开发c、c++程序，都很繁琐，而且很
2015-10-15 09:25:48
546
转载 Django-Rest-Framework 教程: 快速入门
http://www.weiguda.com/blog/18/作者: Desmond Chen, 发布日期: 2014-05-28, 修改日期: 2014-05-28本篇中, 我们会创建一个简单的API, 用来查看和编辑django默认的user和group数据.1. 设置我们创建django项目tutorial, 和app quickstart:
2015-10-14 10:01:25
1067
转载 分布式爬虫样例1
Python、Redis实现分布式网络爬虫http://www.bubuko.com/infodetail-820679.html写爬虫关键是思路，思路明确代码实现起来不是问题。关于用Python实现一个分布式爬虫，我曾折腾了很长一段时间，翻遍了Google十几页，和 Python 分布式 爬虫 等关键字相关的博客也就那么几篇，后来在学习Redis的时候，终于找
2015-10-14 09:59:20
592
转载 升级Ubuntu
最近需要升级Ubuntu，所以查了这方面的资料，做点小记：1.apt-get update 与 apt-get ugrade 其实这个和Ubuntu升级没关系，这是升级安装包相关的命令,apt-get update 是刷新可安装的软件列表（但是不做任何实际的安装动作。）apt-get upgrade这个是进行安装包的更新（这是软件版本的升级）。2.apt-get dist-upgra
2015-09-14 16:24:33
557
转载 redis安装部署
Redis安装部署Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上
2015-08-14 10:39:12
377
转载 python os
Python 模块学习：os模块一、os模块概述Python os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。(一语中的)二、常用方法1、os.name输出字符串指示正在使用的平台。如果是window 则用'nt'表示，对于Linux/Unix用户，它是'posix'。2、os.getcwd()函数得到当前工作
2015-08-13 09:29:24
448
转载 python chardet
python 模块 chardet下载及介绍在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet是一个非常优秀的编码识别模块。chardet 是python的第三方库，需要下载和安装。下载的地址有：1.推荐地址： http://download.
2015-08-13 09:19:42
474
转载 python字符编码
字符串编码常用类型：utf-8,gb2312,cp936,gbk等。python中，我们使用decode()和encode()来进行解码和编码在python中，使用unicode类型作为编码的基础类型。即 decode encodestr ---------> unicode --------->stru = u'中文' #
2015-08-13 09:17:53
519
转载 scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据
在安装完scrapy以后，相信大家都会跃跃欲试想定制一个自己的爬虫吧？我也不例外，下面详细记录一下定制一个scrapy工程都需要哪些步骤。如果你还没有安装好scrapy，又或者为scrapy的安装感到头疼和不知所措，可以参考下前面的文章安装python爬虫scrapy踩过的那些坑和编程外的思考。这里就拿博客园来做例子吧，抓取博客园的博客列表并保存到json文件。环境：CentOS 6.0 虚拟
2015-07-27 21:07:09
674
转载 如何让你的scrapy爬虫不再被ban
如何 前面用scrapy编写爬虫抓取了自己博客的内容并保存成json格式的数据（scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据）和写入数据库（scrapy爬虫成长日记之将抓取内容写入mysql数据库）。然而，这个爬虫的功能还是过于弱小，一旦目标网站设置了爬虫的限制，我们的爬虫也就失效了。因此这里重点讲述一下如何避免scrapy爬虫被ban。本门的所有内
2015-07-27 21:02:27
1191
转载 scrapy爬虫成长日记之将抓取内容写入mysql数据库
前面小试了一下scrapy抓取博客园的博客（您可在此查看scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据），但是前面抓取的数据时保存为json格式的文本文件中的。这很显然不满足我们日常的实际应用，接下来看下如何将抓取的内容保存在常见的mysql数据库中吧。 说明：所有的操作都是在“scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据”的基础上完成，如果
2015-07-27 20:34:01
712
转载 手把手教你如何加入到github的开源世界！
以提交的一次开源代码为例，教会你步入开源的世界。1,首先登陆到https://github.com平台上注册一个自己的账号，这个过程就不演示了2，然后在左上部分输入一个开源项目的名字,选择的是jvalidator,回车搜索。3,在搜索结果页面找到如下如图所示的项目，单击项目名称。4,此时，你已经进入到了rinh/jvalidator的项目主页了，单击
2015-07-24 10:56:40
556
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人