- 博客(64)
- 收藏
- 关注
RSS订阅转载 scrapy cookie 问题
COOKIES_ENABLED默认： True是否启用cookiesmiddleware。如果关闭，cookies将不会发送给web server。COOKIES_DEBUG默认： False如果启用，Scrapy将记录所有在request(cookie 请求头)发送的cookies及response接收到的cookies（set-cookie接收头）转载于:ht...
2019-08-26 19:30:00
217
转载 修改host
C:\Windows\System32\drivers\etc修改host转载于:https://www.cnblogs.com/ls1997/p/11413010.html
2019-08-26 15:51:00
274
转载 python2头！！！！
# -*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf-8')转载于:https://www.cnblogs.com/ls1997/p/11379205.html
2019-08-19 19:43:00
248
转载 docker 常用命令整理
sudoapt-getupdatesudoapt-get-yinstallapt-transport-httpsca-certificatescurlsoftware-properties-common#step2:安装GPG证书curl-fsSLhttp://mirrors.aliyun.com/docker-ce/linux/ubuntu/gp...
2019-08-18 16:13:00
189
转载 execjs
import execjs# eval 和 complie 是要构建一个JS的环境e = execjs.eval('a = new Array(1,2,3)') # 可以直接执行JS代码print(e)x = execjs.compile(''' function add(x,y){ return x+y; ...
2019-08-12 20:20:00
834
转载 scrapy---pycharm调试
from scrapy.crawler import CrawlerProcessfrom scrapy.utils.project import get_project_settings# 注意与scrapy.cfg在同一级目录if __name__ == '__main__': process = CrawlerProcess(get_project_s...
2019-08-12 18:33:00
124
转载 python操作MongoDB
import jsonimport pymongoif __name__ == '__main__': client = pymongo.MongoClient(host="127.0.0.1", port=27017) # 第一种 # db = client['toy'] # # collection = db["...
2019-08-06 16:20:00
106
转载 MongoDB操作——备忘录
#基础数据添加db.stu.drop() db.stu.insert({name:'郭靖',hometown:'蒙古',age:20,gender:true}) db.stu.insert({name:'黄蓉',hometown:'桃花岛',age:18,gender:false}) db.stu.insert({name:'华筝',hometown:'蒙古',ag...
2019-08-05 11:15:00
184
转载 python中运行js代码—js2py
import js2py# 实例化一个执行js的环境对象context_js_obj = js2py.EvalJs()js_str = """ function A(a,b){ return a+b }"""# 传递js_str,执行jscontext_js_obj.execute(js_str)result ...
2019-08-03 00:12:00
381
转载 糗事百科爬虫_基于线程池
import threadingimport timefrom queue import Queuefrom multiprocessing.dummy import Poolimport requestsfrom lxml import etreeclass QiuBaiSpider(object): # 1.爬取的的网站,和请求头 ...
2019-08-01 18:38:00
124
转载 糗事百科_基于队列和多线程
import threadingimport timefrom queue import Queueimport requestsfrom lxml import etreeclass QiuBaiSpider(object): # 1.爬取的的网站,和请求头 def __init__(self): self.ba...
2019-07-31 15:48:00
113
转载 Django ModelForm组件
代码from django import formsfrom django.forms import widgets as wig # 因为重名，所以起个别名from django.shortcuts import renderfrom app01.models import Bookclass BookModel(forms.ModelForm):...
2019-07-29 18:33:00
94
转载 Django补充(mark_safe,url反向解析)
def get_classlist(self): lst = [] for cls in self.class_list.all() lst.append(str(cls)) #使用mark_safe函数标记后，django将不再对该函数的内容进行转义 return mark_safe('<br>'.join(lst))...
2019-07-29 18:20:00
365
转载 Django MiddleWare中间件
# 导入中间件from django.utils.deprecation import MiddlewareMixinfrom django.shortcuts import redirect# 继承MiddlewareMixinclass LoginMiddleWare(MiddlewareMixin): # 进路由对应的方法之前 def...
2019-07-28 22:14:00
101
转载 flask常用的第三方插件
Flask-Script 1.我们可以在Flask服务器启动的时候，通过命令行的方式传入参数2.当前应用程序添加脚本命令Flask-WTF1.我们可以使用 Flask-WTF 扩展，它封装了 WTForms，并且它有验证表单数据的功能Flask-SQLAlchemy1.SQLALchemy 实际上是对数据库的抽象，让开发者不用直接和 SQ...
2019-07-24 18:48:00
964
转载 Django model补充(修改自带的user表以及获取单选值get_FOO_display)
from django.contrib.auth.models import AbstractUser在Settings中加入AUTH_USER_MODEL = 'myapp.UserInfo' 即'app.类名'在 manage.py task 中 makemigrations 之后 migrationclass UserInfo(Abstr...
2019-07-04 22:42:00
198
转载 Django form组件应用
form 组件的使用内置组件Field required=True, 是否允许为空 widget=None, HTML插件 label=None, 用于生成Label标签或显示内容 initial=None, ...
2019-06-25 15:48:00
84
转载 Django auth权限和login_required用法
创建超级管理员命令python manage.py createsuperuser --username hello 检查和校验用户from django.contrib import authdef demo(request): print(request.user) # 默认匿名用户对象 AnonymousUser print...
2019-06-16 00:06:00
436
转载 flask--Django 基本使用
#导入flaskfrom flask import Flask#创建应用app = Flask(__name__)#创建根路径视图@app.route('/')def hello_world(): return 'Hello World!'if __name__ == '__main__': app.run()...
2019-06-15 12:49:00
164
转载 Django分页器
from django.shortcuts import render,HttpResponse# Create your views here.from app01.models import *from django.core.paginator import Paginator, EmptyPage, PageNotAnIntegerdef index(...
2019-06-09 15:49:00
87
转载 html备忘录
上传文件<form action="/ajax/" method="post" enctype="multipart/form-data"> 用户名:<input type="text" name="user"> 文件:<input type="file" name="files"> <input typ...
2019-06-09 13:07:00
218
转载 jQuery备忘录
jquery 中遍历数组var arr = [1,2,3,4,5]$.each(arr,function(i,j){console.log(i,j)})结果0 11 2....jQuery 中遍历字典let obj = {'name': 'lll', 'age': 15} $.each(obj, function (i,...
2019-06-08 16:16:00
171
转载 Django ORM 一对一,一对多,多对多, 添加,批量插入和查询 F与Q添加
模型类class Book(models.Model): nid = models.AutoField(primary_key=True) title = models.CharField(max_length=32, default=None) create_time = models.DateTimeField() price = mo...
2019-06-03 22:34:00
664
转载 Django ORM 模糊查询和查询操作
queryset中支持链式操作book=Book.objects.all().order_by('-nid').first()只要返回的是queryset对象就可以调用其他的方法,直到返回的是对象本身模糊查询常用的操作大于、大于等于:__gt 大于> __gte 大于等于>= Student.objects.filter(age__gt=10) ...
2019-05-31 15:18:00
1154
转载 Django 模型ORM
from django.db import models# Create your models here.class Book(models.Model): nid = models.AutoField(primary_key=True) title = models.CharField(max_length=32) create_ti...
2019-05-30 16:43:00
157
转载 Django-模板语法+反向解析url
1. 模板变量变量名必须由字母、数字、下划线（不能以下划线开头）和点组成，语法如下：{{ 变量 }}模板变量可以使python的内建类型，也可以是对象。def index(request): context = { 'name': 'django', 'my_list': ['python', 'java', 'php',...
2019-05-29 15:43:00
319
转载 Django-路由
Django2.0版本这是一个示例URLconf：from django.urls import pathfrom . import viewsurlpatterns = [ path('articles/2003/', views.special_case_2003), path('articles/<int:year>/...
2019-05-29 15:28:00
80
转载 Django中request,return常用属性和对象以及ajax中CSRF问题
二、request对象常用属性：AttributeDescriptionpath请求页面的全路径，不包括域名端口参数。例如：/users/indexmethod一个全大写的字符串，表示请求中使用的HTTP方法，常用值：GET，POST，DELETE，PUT等。以下三种为GET请求：form 表单默认提交（或者metho...
2019-05-29 15:01:00
264
转载 Django 你需要了解的入门操作
创建一个django project (我的版本是1.11.11)django-admin startproject mysitecd mysite当前目录下会生成mysite的工程，目录结构如下： manage.py-----Django项目里面的工具，通过它可以调用djangoshell和数据库等。settings.p...
2019-05-28 20:20:00
62
转载 Django-常用设置(settings.py)
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) 当前项目的根目录，Django会依此来定位工程内的相关文件，我们也可以使用该参数来构造文件路径。 # 关闭调试模式 DEBUG = True # 设置允许通过哪些主机访问， * 表示匹配所有（ip） ALLOWED_H...
2019-05-28 20:15:00
100
转载 常用的-->查找算法与排序算法
顺序查找从列表第一个元素开始，顺序进行搜索，直到找到为止。二分查找从有序列表的候选区data[0:n]开始，通过对待查找的值与候选区中间值的比较，可以使候选区减少一半。li = [1, 2, 3, 4, 5, 6, 7, 8, 9]val = 5def search(li, val): low = 0 high = len(l...
2019-05-27 17:11:00
173
转载 python 汉诺塔
def hanoi(n, a, b, c): if n > 0: hanoi(n - 1, a, c, b) print('%s->%s' % (a, c)) hanoi(n - 1, b, a, c)hanoi(2, "A", "B", "C")转载于:https://www.cnbl...
2019-05-27 16:17:00
57
转载 flask_SQLAlchemy 中常用的过滤和执行器
常用的SQLAlchemy查询过滤器过滤器说明filter()把过滤器添加到原查询上，返回一个新查询filter_by()把等值过滤器添加到原查询上，返回一个新查询limit使用指定的值限定原查询返回的结果offset()偏移原查询返回的结果，返回一个新查询order_by()根据指定条件对原...
2019-05-21 13:02:00
151
转载 python 字符与字节 json序列和反序列及支持的类型
b = b"demo" s = "demo"# 字符串转字节s = bytes(s, encoding = "utf8")s = str.encode(s)# 字节转字符串 s = str(b, encoding = "utf8")s = bytes.decode(b)json 序列与反序列化'''Su...
2019-05-20 10:25:00
80
转载 flask 项目部分业务逻辑
@passport_blu.route('/image_code')def get_image_code(): """ 生成图片验证码并返回 1. 取到参数 2. 判断参数是否有值 3. 生成图片验证码 4. 保存图片验证码文字内容到redis 5. 返回验证码图片 :return: """...
2019-05-20 00:16:00
228
转载 js生成随机的uuid
function generateUUID() { var d = new Date().getTime(); if(window.performance && typeof window.performance.now === "function"){ d += performance.now(); //use high-precision t...
2019-05-19 23:23:00
1483
转载 增量式爬虫
import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom redis import Redisfrom incrementPro.items import IncrementproItemclass M...
2019-05-17 22:52:00
85
转载 分布式爬虫
pip install scrapy-redisscrapy genspider -t crawl xxx www.xxx.comclass ChoutiSpider(RedisCrawlSpider): name = 'chouti' # allowed_domains = ['www.chouti.com'] # start_urls = ['http:...
2019-05-16 21:36:00
257
转载 scrapy 的分页爬取 CrawlSpider
1.创建scrapy工程：scrapy startproject projectName2.创建爬虫文件：scrapy genspider -t crawl spiderName www.xxx.com# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtra...
2019-05-16 13:11:00
294
转载 scrapy 请求传参
class MovieSpider(scrapy.Spider): name = 'movie' allowed_domains = ['www.id97.com'] start_urls = ['http://www.id97.com/'] def parse(self, response): div_list = re...
2019-05-16 11:24:00
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人