Selenium总结：模拟浏览器动态加载页面

最新推荐文章于 2025-07-07 14:29:23 发布

mmc2015

最新推荐文章于 2025-07-07 14:29:23 发布

阅读量5.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python——爬虫文章标签： Selenium 模拟浏览器动态加载页面 python爬虫

本文链接：https://blog.youkuaiyun.com/mmc2015/article/details/53366452

在爬取动态加载的网页时，简单的HTTP请求往往无法获取完整信息。本文介绍如何利用Selenium模拟浏览器，解决动态加载页面的爬取问题。通过实例展示了在Python中使用Selenium成功抓取如新浪微博话题、Twitter子话题等数据的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

相信爬取大公司的数据时，常常会遇到页面信息动态加载的问题，

如果仅仅使用content = urllib2.urlopen(URL).read()，估计信息是获取不全的，这时候就需要模拟浏览器加载页面的过程，

selenium提供了方便的方法，我也是菜鸟，试了很多种方式，下面提供觉得最靠谱的（已经证明对于爬取新浪微博的topic、twitter under topic完全没问题）。

至于下面的browser变量是什么，看前面的几篇文章。

首先是请求对应的URL：

right_URL = URL.split("from")[0] + "current_page="+str(current_page) + "&since_id="+str(since_id) + "&page="+str(page_index) + "#Pl_Third_App__"+str(Pl_Third_App)
print right_URL
try:
	browser.get(right_URL)
	print "loading more, sleep 3 seconds ... 0"
	time.sleep(3) # NO need for this sleep, but we add ...
	browser = selenuim_loading_more(browser, method_index=0)
except:
	print "one exception h