kangqianglong的博客

[root@bogon Desktop]# scrapy shell 'https://ssl.700du.cn/prod/GAB.html'>>> sel.xpath('//div[contains(@class,"tb-wrap")]/ul/li[contains(div/text(),"'+u'保险公司'+'")]/div/a/text()|//div[contains(@class

Python中re(正则表达式)模块学习主要介绍Python中常用的正则表达式处理函数。Python 学习网站：http://www.runoob.com/python/python-xml.htmlre.match　　re.match 尝试从字符串的开始匹配一个模式，如：下面的例子匹配第一个单词。 import retext = "JGood is a

例一：with open("C:\\Users\\XXX\\Desktop\\redis_log2.csv","w", newline='') as datacsv: csvwriter = csv.writer(datacsv,dialect=("excel")) csvwriter.writerow(["time","us","sy","cl","bcl","mem","rss"

PythonUnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 937: ordinal not in range(128) Logged from file scraper.py,u = unicode("辣", "utf-8")unicode(u'foo', 'utf-8')以上这种转

2017年02月14日今天是情人节，可是。。。。。。人嘛，灵魂的孤独也是一种生活上面的老大要求爬取全国58同城的各个租房数据，打算继续保存到MySQL数据库，由于这个网站的页面信息和以前的爬取网站不同，所以新建了一个item，如下：修改pipelines.py文件：接下来在navicat for mysql 中创建FangwuItem

由于工作需要，将爬虫的文件要保存为csv，以前只是保存为json，但是目前网上很多方法都行不通，主要有一下两种：from scrapy import signalsfrom scrapy.contrib.exporter import CsvItemExporterclass CSVPipeline(object): def __init__(self): self.f

1、虚拟机关闭后找不到系统了，查找我的文档下面的vmk文件，发现都不是正确的系统。按F9,虚拟机左侧显示出各种虚拟机，找到了使用的虚拟机，位置在d:/scrapy2、发现可以ping通百度，但虚拟机里面的火狐浏览器无法上网，原因是公司内部使用代理服务器上网，设置代理，成功上网。3、使用pip install安装selenium