ding1991as的博客

原创 requests 模拟请求在gevent和asyncio 中的阻塞问题

在学习asyncio 中，我们发现用 requests包发起http请求时，无法实现异步io。  原因是因为request包 并不是非阻塞的，所以无法实行异步io ,只能使用Python3的aiohttp，或者socket 之类的可以设定为非阻塞的io操作。但是在看gevent的时候，发现了不同的问题，当我用gevent 使用多个requests 发起http请求时，却实现了异步io。  所以感觉...

原创 asyncio 异步爬虫

基于Python3.5 的asyncio 的 异步爬虫案例：我们会实现以下功能：    1： 单进程 实现并发 异步爬虫    2： 解决并发过多报错  too many file descriptors in select    3: 实现异步 master-worker 主从模式以下是具体代码实现：1：    #coding:utf-8import time,asyncio,aiohttp...

原创 神经网络 tensorflow教程 2.2 下载MNIST 数据集 （自动版）

文章参考：   https://zhuanlan.zhihu.com/p/25934529环境：语言 ：python3.5（使用 Anaconda3-4.2.0-Windows-x86_64.exe）操作系统： windos7创建python 文件并执行   自动将数据集下载并展示前100条#coding:utf-8import tensorflow.ex

原创 神经网络 tensorflow教程 2.2 下载MNIST 数据集（保存所有图片）

场景：语言 ：python3.5（建议使用 Anaconda3-4.2.0-Windows-x86_64.exe）操作系统： windos7文件下载路径解压到  F：\mnist创建两个字文件  F：\mnist \test   和  F：\mnist \test_label数据集下载地址：http://yann.lecun.com/exdb/mnist/下载对

原创 C 链表的实现

#include typedef struct _node {int value;struct _node *next;/* 类型使用struct _node  是因为 自定义了一个数据结构类型 struct _node ,所以这里声明了一个指针。 意思是下一个struct _node 的指针*/ } Node;void main(){/

转载 FreeBSD下的开机自启动

http://xiang.lf.blog.163.com/blog/static/127733322201242611158750

转载 http 请求转发服务器

代码源地址忘了# coding=utf-8import socketimport selectimport systo_addr = ('172.10.10.60',80) # 转发的地址class Proxy: def __init__(self, addr): self.proxy = socket.socket(socket.AF_INET

原创 django 远程连接mysql数据库，表变更

连接mysql 数据库  并生成对应的各种表：1.  安装 mysql， 安装Python  mysqldb .2.  进入django  工程文档  settings.py文件。设置数据库：DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME':

转载 安装 MySQLdb

yum install gcc python-devel mysql-devel -y执行完之后进入Python   import MySQLdb  验证是否安装成功由于下面的文档，都没有介绍依赖条件的安装，造成安装过程非常迷茫，耗时一个小时~一句话，上面的任何一台服务器，把可以装的开发包，都装上，省很多事。http://pypi.python.org/

原创 python 读取配置文件

配置文件   cfg格式：      Python读取：      以上就能获取到配置文件信息

原创 flask django 上传文件

采用wtf 上传文件设置表单：def parse_directory(self, response): hxs = Selector(response) for li in hxs.xpath('//ul[@class="directory-url"]/li'):class Up_file_Foem(FlaskForm):    body =

原创 celery 分布式实现

celery  分布式实现  原理很简单。 当你讲任务队列rabbitmq 或redis启动后。再启动celery的work程序。  启动多少task。任务队列就会将任务依次分发到work程序中。  如果分布式 则只需要改任务队列所在服务器ip即可。1. 首先启动任务队列    Linux下进入root权限    sudo rabbitmq-server   不报错则正常启动。

转载 requests session获取当前cookie cookie对象转字典 字典转对象

session  获取cookies=session运行get请求s.cookies   即是cookie对象#实例化一个LWPCookieJar对象load_cookiejar = cookielib.LWPCookieJar()#从文件中加载cookies(LWP格式)load_cookiejar.load('cookies/' + self.username

原创 三元组(a,b,c)标识a币种到b币种的汇率为c，反向亦成立。 输入一堆这样的三元组，再指定两个币种x y，问x->y的汇率是多少？ 请编程实现，并给出时间、空间复杂度。

三元组(a,b,c)标识a币种到b币种的汇率为c，反向亦成立。输入一堆这样的三元组，再指定两个币种x y，问x->y的汇率是多少？请编程实现，并给出时间、空间复杂度。

原创 request session

# -*- coding:utf8 -*-import requestsfrom lxml import etreeheaders = { # 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', # 'Accept-Encoding

转载 模拟登录知乎

# !/usr/bin/env python3# -*- coding: utf-8 -*-'''Required- requests (必须)- pillow (可选)Info- author : "xchaoinfo"- email : "xchaoinfo@qq.com"- date : "2016.2.4"Update- name : "wangmengcn

原创 request post 模拟登录 csdn 获取保存cookie

# -*- coding=utf-8 -*-import requestsfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.

原创 centos6.8 安装 Python 2.7

rpm -ivh http://repo.webtatic.com/yum/el6/latest.rpmrpm -ivh http://mirrors.aliyun.com/epel/6/x86_64/epel-release-6-8.noarch.rpmrpm -ivh https://mirrors.tuna.tsinghua.edu.cn/repoforge/redhat/el6/e

原创 Pycharm 远程连接服务器

原创 爬虫 xpath 的使用与范例

#coding:utf-8from flask import Flaskimport requestsfrom lxml import etreeapp= Flask(__name__)app.debug =True#爬取小说并返回到前台@app.route('/',methods=['GET','POST'])def index(): r = requests.get

原创 Flask 局域网内访问

首先去关闭linux系统中的防火墙   才能使用

原创 Flask 邮箱验证设置

class Config: SECRET_KEY = os.environ.get('SECRET_KEY') or 'hard to guess string' SQLALCHEMY_COMMIT_ON_TEARDOWN = True SQLALCHEMY_TRACK_MODIFICATIONS = False MAIL_SERVER = 'smtp.163.co

原创 文件字节转化为对应大小

# -*- coding=utf-8 -*-def size(bytes):#传入文件字节 获取文件大小 def g(x): x = list(str(x)) def s(x): if x[-1] == '0': del x[-1] s(x)

原创 windos和linux 下遍历下级文件及文件夹

会自动生成#-- coding: utf-8 --import osclass some(): def get_list(self ,dir, id=0): dirs = [] filses = [] alla = [] ids = [] fid = id try:

原创 django 开放端口 局域网访问

转载 Python 获取指定目录下级文件

#coding:utf-8import ospath = "/home/djl/project"dirs = os.listdir( path )print dirs

转载 Python 判断文件和文件夹是否存在

import os os.path.isfile('test.txt') #如果不存在就返回False os.path.exists(directory) #如果目录不存在就返回False

原创 Python 求两个 list 的交集和差集

有时候，为了需求，需要统计两个 list 之间的交集，并集，差集。查询了一些资料，现在总结在下面:1. 获取两个list 的交集#方法一:a=[2,3,4,5]b=[2,5,8]tmp = [val for val in a if val in b]print tmp#[2, 5]#方法二print list(set(a).int

原创 python 执行linux命令

执行linux命令  使用 os模块。1.   system2.   os.popen3. 使用模块 subprocess4 . 使用模块 commands

原创 django 静态文件配置 js url 写法

django静态文件配置 。  原理和方法很简单。  请看实例以上就能实现静态文件导入视图文件

原创 centos 环境安装 Tkinter

使用yum装。  比较便捷   下面是yum源

原创 Tkinter选择路径功能的实现 Python2.7

Python 2.7 下使用。 其他版本不保证正确性。# -*- coding:utf8 -*-from Tkinter import *import tkFileDialogdef selectPath(): path_ = tkFileDialog.askopenfilename(filetypes=[("bmp格式".decode('gbk'),"py")])

原创 Python 读取指定目录下的所有子目录及所有文件

借鉴的   http://blog.youkuaiyun.com/pipisorry/article/details/46972171    但是他的代码有些问题。  在此更改后发出扫描指定目录下的文件，或者匹配指定后缀和前缀的文件。如果要扫描指定目录下的文件，包括子目录，调用scan_files("/export/home/test/")如果要扫描指定目录下的特定后缀的文件（比如

转载 详细记录python的range()函数用法

使用python的人都知道range()函数很方便，今天再用到他的时候发现了很多以前看到过但是忘记的细节。这里记录一下range(),复习下list的slide，最后分析一个好玩儿的冒泡程序。这里记录一下：>>>range(1,5)#代表从1到5(不包含5)[1,2, 3,4]>>>range(1,5,2)#代表从1到5，间隔

原创 Python 图形界面 Tkinter 实现倒计时

# Countdown using Tkinter from Tkinter import *import timeimport tkMessageBoxclass App: def __init__(self,master): frame = Frame(master) frame.pack() self.entryWidget

原创 Python 图形界面 GUI Tkinter 实例

Python  实现图形化界面  # -*- coding: cp936 -*-from Tkinter import *import tkMessageBoxclass Application(Frame): def __init__(self, master=None): Frame.__init__(self, master) se

原创 ConfigParser 读取 config 配置文件

首先是 配置文件， host.conf[easyiaas]host = 10.10.10.242port = 10000number = 10然后是Python文件# -*- coding=utf-8 -*-import ConfigParsercf = ConfigParser.ConfigParser()cf.read('./host.conf')#

原创 django json 接口获取返回

当别的app访问django的api的时候，通常使用json传递数据。 以下为实例：   #coding:utf-8import requestsimport jsonfrom django.shortcuts import renderfrom django.http import HttpResponsefrom models import Server, Clo

原创 socket 接口测试实例 tcp连接 Python 2.7

实现功能为客户端向服务器端发送数据请求，测试接口状况主机：# -*- coding: cp936 -*-from socket import *from time import ctimeHOST='127.0.0.1'PORT = 8080BUFSIZ=1024ADDR=(HOST, PORT)sock=socket(AF_INET, SOCK_STREAM)

转载 socket 实例

目前找到个教程实例，先保存有时间再看：http://www.cnblogs.com/GarfieldTom/archive/2012/12/16/2820143.html