爬虫爬取百度图片
因公司业务需要,而且公司人手不足,我这个测试工程师需要临时客串一下其他职位,所以,由我来爬取百度图片。
说明
1、最近稍微有点儿忙,没顾得上整理。而且代码量比较少,所以注释比较少。
2、如果需要直接使用我的代码,请将相应路径文件名称更改。具体使用方法我会在下面代码中详细介绍。
3.python2.7
实现思路及功能
1.读取excel中第一列的关键词,保存在列表中,等待遍历
2.根据关键词开启线程
3.将关键词传入img中,开始获取图片
4.将图片保存在指定目录
上代码
#__author__ = 'chubbysuperman'
#_*_coding=utf-8 _*_
import requests
from fake_useragent import UserAgent
import xlrd
from compiler.ast import flatten
import os
import time
import threading
def imgUrls(keyWord, userAgent, pn):
url = 'https://image.baidu.com/search/index'
params = {
'tn': 'resultjson_com', 'ipn': 'rj', 'ct': '201326592', 'is': '', 'fp': 'result', 'queryWord': keyWord, 'cl': '2', 'lm': '-1', 'ie': 'utf-8', 'oe': 'utf-8', 'adpicid': '', 'st': '-1', 'z': '', 'ic': '0', 'word': keyWord, 's': '', 'se': '', 'tab': '', 'width': '', 'height': '', 'face': '0', 'istype': '2', 'qc': '', 'nc': '1', 'fr'