qq123aa2006的博客

from urllib.parse import urlencodeparams = {'wd': 'python', 'ie': 'utf-8'}result = urlencode(params) # wd=python&ie=utf-8将url参数转成字典from urllib.parse import parse_qs, urlparseurl = 'https://w...

Mongodb对内嵌数组的增删改首先构造一些数据1 db.student.insert({2 name:‘hunter’,3 courses:[{ name:‘英语’, classRoom:‘1001’},{ name:‘高等数学’, classRoom:‘1001’}]4 })1、新增操作，往courses新增一个课程db.student.update(...

MAX_SCORE = 100 MIN_SCORE = 0 INITIAL_SCORE = 10 REDIS_HOST = "127.0.0.1"REDIS_PORT = 6379REDIS_PASSWORD = None REDIS_KEY = "proxies"import redis from random import choice import timeimport ...

from fake_useragent import UserAgentclass RandomUserAgentMiddlerware(object): def __init__(self,crawler): super(RandomUserAgentMiddlerware,self).__init__() self.ua = UserAgent() ...

1.引入环境变量BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.insert(0, os.path.join(BASE_DIR, 'apps'))sys.path.insert(0, os.path.join(BASE_DIR, 'extra_apps'))2.用户管理from...

在connect 的时候加入参数 allow_agent, look_for_keys 就可以了ssh.connect('localhost',username=name,password=pw,allow_agent=False,look_for_keys=False)

在四月份刚接触Peewee的时候，写过一篇Peewee 使用。而后，在使用的过程中，发现很多常用的内容需要搜索查阅，今天就在这里整理一下。一、插入数据插入数据，我们可以实例化一个Model，然后再使用save()的方法插入到数据库中。如下：# 插入一条数据p = Person(name='liuchungui', birthday=date(...

DeviceInfo.objects.update_or_create(**dict_info,defaults={‘ip’:dict_info[‘ip’]})

spider.py# -*- coding: utf-8 -*-import scrapyimport uuid from datetime import datetimefrom novel.items import NovelItem,ChapterItemclass A17kSpider(scrapy.Spider): name = '17k' allowed_...

作用：可以在请求中重写headerspip3 install fake_useragent导入fake_useragent 包from fake_useragent import UserAgent class RandomUserAgentMiddlerware(object): def __init__(self,crawler): super(RandomUs...

-0- 使用到的资源：前端: Blueimp Gallery后端: Django缩略图: easy_thumbnails部署: nginx + gunicorn + supervisor开发环境是Centos 7.2 + Python 2.7.5上个图先:界面效果预览-1- 创建项目假设当前用户是ljgabc，当前目录是/home/ljgabc。v...

scrapy 是python爬虫框架主要有spider，items，middelwares，pipelines 等模块1.spiderspider 可以定义爬虫，负责爬取网页链接，内容等功能定义name 定义爬虫名字，allowed_domains 过滤爬虫的域名，在插件OffsiteMiddleware启用的情况下（默认是启用的），不在此允许范围内的域名就会被过滤，而不会进行爬取s...

1.asyncio异步并发概念asyncio 显示的处理上下文的切换，以事件循环（event loop）为中心，程序开启一个无限的循环，程序会把一些函数注册到事件循环上，当满足事件发生的时候，调用相应的协程函数2.写一个异步方法async def async_double(x): return 2*x从外观上看异步方法和标准方法没有什么区别，只是前面多了个async，要调用异步函数，必...

sudo add-apt-repository ppa:jonathonf/python-3.6sudo apt-get updatesudo apt-get install python3.6sudo rm /usr/bin/python3sudo ln -s /usr/bin/python3.6 /usr/bin/python3install pip for py...

Python需求清单requirements文件生成与使用生成requirementspip freeze >requirements.txt安装或升级Package后，应更新该文件。基于requirements安装packagepip install -r requirements.txt...

在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？这种情况下，每个应用可能需要各自拥有一套“独立”的Pyt...

1、gt：大于某个时间now = datetime.datetime.now()#前一天start = now – datetime.timedelta(hours=23, minutes=59, seconds=59)a=yourobject.objects .filter(youdatetimcolumn__gt=start)2、gte：大于等于某个时间：a=yourobject....

datetime是模块，datetime模块还包含一个datetime类，通过from datetime import datetime导入的才是datetime这个类。strptime():用户输入的日期和时间是字符串，要处理日期和时间，首先必须把str转换为datetime。转换方法是通过datetime.strptime()实现，需要一个日期和时间的格式化字符串：from dat...

集群健康GET /_cat/health?v返回epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent1475247709 17:01:49 elasticsearch...