Selenium+Chrome+PhantomJS 爬取淘宝

最新推荐文章于 2021-01-27 15:59:02 发布

weixin_30517001

最新推荐文章于 2021-01-27 15:59:02 发布

阅读量145

点赞数

CC 4.0 BY-SA版权

文章标签： python 数据库

原文链接：http://www.cnblogs.com/654321cc/p/8848368.html

本文介绍如何使用Selenium配合Headless Chrome进行网页自动化操作，包括页面抓取及信息提取的技术细节。文章还提供了设置Headless Chrome的具体代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

https://github.com/factsbenchmarks/taobao-jingdong

一简单铺垫

　　Selenium负责驱动浏览器与python对接

　　PhantomJS负责渲染解析JavaScript

二函数

　　单独一个函数，传一个参数页码，实现跳转到该指定页面的功能。

　　获取某页码内的信息，返回字典格式。将字典格式的数据，保存到数据库。这两个功能，可以单独写两个函数。即插即用，没问题。

三 selenium在最新的版本中并不支持PhantomJS，推荐headless Chrome。

　　参考文件：

　　https://developers.google.cn/web/updates/2017/04/headless-chrome

　　https://www.cnblogs.com/zhuxiaoxi/p/8425686.html

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get("https://cnblogs.com/")