python+selenium爬取淘宝商品信息+淘宝自动登录——爬虫实战

最新推荐文章于 2025-10-14 06:12:08 发布

原创

最新推荐文章于 2025-10-14 06:12:08 发布 · 3k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#python #selenium #数据挖掘

本文介绍了使用Python的Selenium库模拟登录淘宝，避开反爬机制，实现自动查找页面、翻页及获取商品信息的爬虫实战过程。通过微博账号登录后，抓取每页产品详情并存储。

1.前言

继续学习爬虫内容，这回是以selenium模拟操作进行抓取，其中有几个需要登陆的注意事项。

2.自动登陆+查找页面

由于现在淘宝的反爬机制，需要登陆才好下一步操作。在搜索输入后页面会调入登陆界面，经过测试发现微博登陆是不需要验证码的，如果使用账号密码登陆是要滑动，但反爬更加严格，笔者暂时没有解决。也尝试过加cookie，也失败了。因此最好的方法还是利用微博账号自动登录。

登录后获取总页数，并返回。

代码如下：

def search_page():
    browser.get('https://www.taobao.com')
    #sleep(5)
    input = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#q')))
    #submit = wait.until(EC.element_to_be_clickable(By.CSS_SELECTOR,"#J_TSearchForm > div.search-button"))
    browser.find_element_by_name('q').send_keys('美食')
    browser.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()  ##搜索按钮
    sleep(3)
    #选择微博登录
    browser.find_element_by_xpath('//*[@id="J_OtherLogin"]/a[1]').click() 
    #自动填入账号密码
    browser.find_element_by_name('username'