
scrapy爬虫
文章平均质量分 56
超能小墨
这个作者很懒,什么都没留下…
展开
-
selenium爬虫笔记——csdn博客页面登录弹窗问题解决
1、问题情景使用selenium + python爬取csdn博客,其中一个步骤为点击博客详情页面的各级目录的链接,但是当鼠标点击目录链接时,页面会弹出一个登录窗口,要求登录。如果是真实用户访问的页面,用户只需要在弹窗外面的任意灰色区域点击一下,就可以关掉这个弹窗;但是使用selenium控制的鼠标去定位点相关元素或者点击时,则会报错,因为元素可以被定位,但是无法被点击。以博客https://blog.youkuaiyun.com/spring292713/article/details/139..原创 2021-02-04 17:01:20 · 3138 阅读 · 1 评论 -
selenium使用小记
1、switch_to_window使用踩坑switch_to_window,其主要被用来切换窗口。踩坑情景使用python + selenium爬取csdn博客,由于有些博客点击里面内容后会打开新的页面,使用close()关闭新打开的标签页后,使用switch_to_window切换到原本的博客窗口,但是是使用如下方法:browser.switch_to_window(browser.window_handles[-1])这段代码的含义是,切换窗口到当前所有窗口的最后一个窗口。然而在代码运行时原创 2021-02-04 16:57:21 · 906 阅读 · 0 评论 -
关于mysql数据存储的一些坑
对于1054, "Unknown column 字段名 in 'field list'"例如"Unknown column name in 'field list'"self.sql_insert="""insert into tencent(price,name,num,course_name) VALUES({0}, {1}, {2}, {3})""" .format(item['p...原创 2019-07-27 16:11:08 · 271 阅读 · 0 评论