yestone网图片爬虫

weixin_38185649

于 2019-10-15 10:55:43 发布

阅读量143

点赞数

分类专栏： python图片爬虫文章标签： yestone python爬虫图片

本文链接：https://blog.youkuaiyun.com/weixin_38185649/article/details/102562965

版权

本文介绍了如何使用Python进行Yestone网站的图片爬取，详细阐述了爬虫的实现过程，包括请求处理、网页解析、图片下载等关键步骤，帮助读者掌握网络爬虫的基本技能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding:utf-8 -*-
import os
import time
import requests
import urllib
import uuid
from pyquery import PyQuery
import json

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/75.0.3770.142 Safari/537.36"
}


def href_url_download():
    # 1.填写要爬取关键词的list.txt
    keyword_list = open("list.txt", 'r', encoding='utf-8')
    lines = keyword_list.readlines()
    keyword_list.close()
    for keyword in lines:
        keyword = keyword.strip()
        print(keyword)
        # 2.修改爬取的页数(1,101),默认爬取100页
        for pages in range(1, 5):
            page = str(pages)
            # https://www.yestone.com/search?query=%E8%8B%B9%E6%9E%9C&photo=1&page=2
            # https://www.yestone.com/yestone/images/search?query=%E8%8B%B9%E6%9E%9C&photo=1&page=2
            url = "https://ww