
爬虫
文章平均质量分 68
剑门首徒
梦想的路上.
展开
-
爬虫selenium(python)一点 坑
1.对于多层嵌套的 window ,就是 在外层body里面 加入iframe 形成嵌套的window ,那么要想对 内层上的元素定位 ,就要先将window_handle 切换到内层window即param["browser"].switch_to_default_content()param["browser"].switch_to_frame("rightFramebooki原创 2018-01-12 14:17:32 · 1173 阅读 · 2 评论 -
关于 使用scrapyd 控制scrapy 达到兼顾 定时及 实时 抓取数据
____公司项目 需要 实时 查询 一些数据,所以 决定使用 scrapy 框架 搭一个爬虫服务接口,____因为具体业务需要,决定既要支持 实时 的调用并返回 查询结果,也要定时自动去爬取 定向url数据 存到本地数据库中,即 在以后的查询中,会先去 本地数据库中读取 信息,当没有时再去 抓取,并返回。思路:____网上查了半天,scrapy开发很多教程,但关于 管理scrapy原创 2018-01-04 11:29:16 · 2447 阅读 · 2 评论 -
centos 无界面 服务器 安装chrome部署chromedriver
2018/3/22 基本 做完了,要弄进docker里面去了的时候,才搜到 docker-chromium 基础镜像,和前辈走过的路,也许这样更方便吧,而且生产环境 就是linux-centos所以 不如一直在Linux或者docker里开发,我一直在mac里开发,所以迈过了很多坑~http://blog.youkuaiyun.com/littlebrain4solving/article/details/7...原创 2018-03-07 09:45:07 · 12286 阅读 · 4 评论