- 博客(5)
- 收藏
- 关注
RSS订阅转载 数据写入csv
import csvdata_list = []for tr in tr_list: lt = [] lt.append(tr.xpath('//td[1]/text()')[0]) lt.append(tr.xpath('//td[2]/text()')[0]) lt.append(tr.xpath('//td[3]/text...
2019-09-20 16:49:00
241
转载 scrapy中使用代理
tip:大致思路：从网络（URL：http://ip.jiangxianli.com/api/proxy_ips）获取代理ip以及端口，存到列表；随机一个数从列表中取一个ip，设置超市时间以及次数；捕获异常，从列表中删除无用的ip代理并设置新的ip代理settings.py中还要开启下载中间件DOWNLOADER_MIDDLEWARES = { 'tianmao....
2019-09-18 04:17:00
430
转载 scrapy中把数据写入mongodb
1.setting.py中打开管道ITEM_PIPELINES = { # 'tianmao.pipelines.TianmaoPipeline': 300,}2.setting.py中写入mongodb配置# mongodbHOST = "127.0.0.1" # 服务器地址PORT = 27017 # mongo默认端口号USER ...
2019-09-18 04:08:00
470
转载 scrapy从命令行传值
1.新建文件run.pyfrom scrapy.cmdline import execute# tmall：爬虫的名字# pro=男装为需要传入的参数值execute(['scrapy', 'crawl', 'tmall', '-a', 'pro=男装', '--nolog'])# 下面是无参数用法# execute(['scrapy', 'cra...
2019-09-18 04:02:00
240
转载 ssh密钥登陆服务器并禁止root密码登陆
1.客户端生成密钥ssh-keygen2.将公钥copy到服务器ssh-copy-id root@IP地址之后会让输入服务器的登陆密码3.登陆服务器ssh root@IP地址4.修改文件vi /etc/ssh/sshd_config PubkeyAuthentication yes AuthorizedKeys...
2019-09-16 20:21:00
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人