
python爬虫
weixin_43866709
The best or nothing
展开
-
selenium解决由于浏览器支持不好而导致的元素无法定位的问题
最近在做一个selenium的测试,对网页进行爬取,遇到了很多问题。下面来总结一下。我在测试的时候,明明通过xpath或者css匹配到了元素,但是就是无法进行点击。研究了之后,发现是浏览器的支持性不太好导致的。首先,当出现这个问题的时候,我们要学会排除可能导致出错的原因,第一点就是可能是frame导致的,当你发现前端代码出现iframe标签时,要想定位里面的元素,必须进行表单切换。切换的方法...原创 2019-09-24 17:07:43 · 1022 阅读 · 0 评论 -
python爬虫--自定义爬取网站数据并进行可视化分析
今天写了一个爬虫,爬取了豆瓣网和腾讯网上一些信息,然后又用python自带的tkinter库制作了一个图形化界面,下面时代码和思路。思路 (1)为了用户更好的操作,先用pythonGUI编程设计出一个界面。(2)编写爬虫代码,以豆瓣网为例,思考自己所需要的数据资源,并以此为基础设计自己的爬虫程序。(3)分析网页前端代码,找出数据所在的标签,并通过正则表达式或者Xpath匹配出想要的数据。...原创 2019-03-22 14:40:49 · 38107 阅读 · 20 评论