|张超|的博客

在python3中，关于redis读取数据带有‘b’的问题# encoding=utf-8from redis import *# 读取数据d1=input("您输入的数据是：")# 连接r=StrictRedis(host='localhost',port=6379)# 写pipe=r.pipeline()pipe.set('r1','hello')pipe.set...

第一部分：基本配置1、项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名BOT_NAME = 'Amazon'2、爬虫应用路径SPIDER_MODULES = ['Amazon.spiders']NEWSPIDER_MODULE = 'Amazon.spiders'3、客户端User-Agent请求头USER_AGENT = 'Amazon...

Scrapy设定(settings)提供了定制Scrapy组件的方法。你可以控制包括核心(core)，插件(extension)，pipeline及spider组件。设定为代码提供了提取以key-value映射的配置值的的全局命名空间(namespace)。Scrapy内置设置下面给出scrapy提供的常用内置设置列表,你可以在settings.py文件里面修改这些设置，以应用或者禁用这些...

一、UserAgent池1.1在settings配置文件中新增UserAgents池 USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (com...

1、入门案例"""Minimal Example===============使用默认参数根据美国宪法生成方形的词云"""from os import pathfrom wordcloud import WordCloud# matplotlib的方式展示生成的词云图像import matplotlib.pyplot as pltd = path.dirname(__...

 通过item中的url下载并保存图片from scrapy import Requestclass DownloadImagesPipeline(ImagesPipeline): def get_media_requests(self, item, info): # 下载图片 print(item) for image_url in item['...

import requestsr = requests.get("http://www.webxml.com.cn//webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=1223995142")result = r.text# XML 模块from xml.etree import ElementTree as ET#解析x...

 如果返回的是内容的格式python的基本数据类型，可以json将返回的字符串转为python的基本数据类型。但是大多数情况下，我们通过http协议请求一个url后，返回的却是？xml格式。基于这种常见的报文格式，python对其进行提供了相应模块，如下：一、xml模块XML是实现不同语言或程序之间进行数据交换的协议，XML文件格式如下：<data> <...

对于时间数据，如2016-05-05 20:28:54，有时需要与时间戳进行相互的运算，此时就需要对两种形式进行转换，在Python中，转换时需要用到time模块，具体的操作有如下的几种：将时间转换为时间戳 重新格式化时间 时间戳转换为时间 获取当前时间及将其转换成时间戳1、将时间转换成时间戳将如上的时间2016-05-05 20:28:54转换成时间戳，具体的操作过程为：利用...

from scrapy.utils.project import get_project_settingssettings = get_project_settings()user_agents = settings['USER_AGENTS']