自动化爬取淘宝数据--（保存到文本中）

淘宝数据自动化爬取与保存

最新推荐文章于 2025-06-23 17:45:42 发布

心月流云

最新推荐文章于 2025-06-23 17:45:42 发布

阅读量2.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python(2018-1-26)

本文链接：https://blog.youkuaiyun.com/guifei010/article/details/79178398

该博客介绍了两种方法来爬取淘宝网页数据，包括普通版本的爬取和通过函数实现的自动化爬取。主要关注如何初始化并使用特定的keyword进行数据检索，并将结果保存到文本文件中。

普通版本的爬取淘宝网页

#淘宝商品信息
#从selenium中引入webdriver
from selenium import webdriver
import time
#输入查询关键词
keyword=input('请输入要查询的商品关键词：')
#1.创建firefox浏览器对象
driver=webdriver.Firefox()
#2.打开淘宝网址
driver.get('http://www.taobao.com')
#3.通过id找到输入框
search_input=driver.find_element_by_id('q')
#4.输入搜索内容
search_input.send_keys(keyword)
#5.通过class找到搜索按钮
search_btn=driver.find_element_by_class_name('btn-search')
#6.点击搜索按钮
search_btn.click()
#休眠2秒
time.sleep(2)
#1.打开文件 encoding=utf-8 指定文件的字符编码
file_handle=open('%s.txt'%keyword,'w',encoding='utf-8')

for x in range(1,2):
    print('正在获取第%s页数据，请稍后......'%x)
    #for 循环执行5次
    for x in range(1,11,2):
        #休眠1秒
        time.sleep(1)
        #把x转换小数
        j=x/10
        #拼接让浏览器滚动的js代码
        #%f float类型数据占位符
        js='document.documentElement.scrollTop = document.documentElement.scrollHeight *%f '%j
        #执行让浏览器滚动的js代码
        driver.execute_script(js)