- 博客(17)
- 收藏
- 关注
RSS订阅转载 CentOS下Redis的安装
安装Redis需要知道自己需要哪个版本，有针对性的安装，比如如果需要redis GEO这个地理集合的特性，那么redis版本就不能低于3.2版本，由于这个特性是3.2版本才有的。另外需要注意的是，Redis约定次版本号（即第一个小数点后的数字）为偶数的版本是稳定版（如2.8版、3.0版），奇数版本是非稳定版（如2.7版、2.9版），生产环境下一般需要使用稳定版本。下载安装包wget ht...
2018-10-22 18:05:20
172
原创 scrapy与scrapy-redis
Scarp框架需求 获取网页的url 下载网页内容(Downloader下载器) 定位元素位置, 获取特定的信息(Spiders 蜘蛛) 存储信息(ItemPipeline, 一条一条从管里走) 队列存储(scheduler 调度器)首先, spiders 给我们一个初始的URL, spider获取列表页内的详情页的url....
2018-08-29 20:22:08
1677
原创 笔记
1 bytes转换成python对象 （json.loads(变量)）2 post请求 创建访问对象 request.Request()3 转换成str parse.urlencode(变量).encode('utf-8')4 headers头正则 ^(.*?):(.*) ($1):($2),———————————————————————————————...
2018-08-29 20:13:03
179
转载 scrapy返回携带参数（yield scrapy.Request(item['url'], meta={'item': item}, callback=self.parse_detail)）
name = 'doubanzufang'start_urls = ['https://www.douban.com/group/tianhezufang/discussion?start=50']def parse(self, response): item = ZufangItem() node_list = response.css(".olt>tr>td....
2018-08-26 18:25:54
8762
3
原创 def_2mysql(腾讯)
import pymysqlclass MysqlHelper(object): def __init__(self): self.db = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='123456', database='py1011', charset='utf8') ...
2018-08-19 16:04:39
177
原创 腾讯招聘（简单封装）
import requests,osfrom lxml import etreefrom def2_mysql import MysqlHelpermyhelper =MysqlHelper()sql = 'INSERT INTO tengxun (one_title, one_didian, one_leibie, one_renshu, one_zhize, tow_yaoqiu)...
2018-08-19 16:02:52
228
原创 我爱我家（抓取）
import requests,refrom lxml import etreeimport mysql_test# 构建代理proxy = { 'http' : 'http://alice:123456@120.78.166.84:6666', 'https' : 'http://alice:123456@120.78.166.84:6666'}headers={...
2018-08-17 21:43:22
879
原创 链家抓取
import requestsfrom lxml import etreeimport mysql_test# 构建代理proxy = { 'http' : 'http://alice:123456@120.78.166.84:6666', 'https' : 'http://alice:123456@120.78.166.84:6666'}headers={ ...
2018-08-17 17:57:30
525
原创 喜马拉雅单个无版权下载
import requests,re,json,osfrom urllib import request# 构建代理proxy = { 'http' : 'http://alice:123456@120.78.166.84:6666', 'https' : 'http://alice:123456@120.78.166.84:6666'}headers={ ...
2018-08-17 15:59:48
365
原创 今日头条图片
import requests,json,re,osfrom urllib import requestheaders={ "user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1...
2018-08-16 22:57:18
703
原创 request（cookie）.get与post （可当包使用）
from urllib import request, parsefrom urllib.error import HTTPError, URLErrorfrom http import cookiejar# 创建session类，调用前实例化class session(object): def __init__(self): # 通过对象保存cookie ...
2018-08-16 10:36:26
1198
原创 Mysql连接数据库（当包使用）
import pymysql# mysql_coon 主要的功能就是, 将链接数据库的操作变成只连接一次#class mysql_conn(object): # 魔术方法, 初始化, 构造函数 优先执行此函数 def __init__(self): #ip地址 #用户名 #密码 #端口号 ...
2018-08-16 08:41:25
257
原创 雪球（初步）
import random,json,pymysqlfrom mysql_test import mysql_connimport requestsa = -1count_=10for i in range(4): url='https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&...
2018-08-16 08:39:14
279
原创 封装（包含cookie）（from tuozhan_all import session）
from urllib import request, parsefrom urllib.error import HTTPError, URLErrorfrom http import cookiejar# 创建session类，调用前实例化class session(object): def __init__(self): # 通过对象保存cookie ...
2018-08-14 22:51:43
282
原创 有道翻译
from day1.fengzhuang_all import post,getimport time,randomimport hashlib,jsonfrom urllib import requestdef md5_my(need_str): # 创建对象 md5_o = hashlib.md5() # 转换bytes sign_bytes = n...
2018-08-14 21:20:52
258
转载 cookie与session
session机制： session机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。cookie机制： cookie机制是一种客户端的机制，浏览器访问服务端时会生成相应的cookie，cookie的使用是由浏览器按照一定的原则在后台自动发送给服务器的cookie与session区别 1、cookie数据存放在客户的浏览器上...
2018-08-13 21:31:14
114
原创 Blog operation（get;post封装）（day1.fengzhuang_all）
封装from urllib import request,parse from urllib.error import HTTPError,URLErrordef get(url,headers=None): return url_requests(url,headers=headers)def post(url,data,headers=None): retur...
2018-08-13 21:23:19
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人