爬虫实战17：多线程爱丝APP图片爬虫

最新推荐文章于 2025-06-23 20:57:22 发布

shifanfashi

最新推荐文章于 2025-06-23 20:57:22 发布

阅读量3w

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫实战爬虫实战文章标签：爬虫实战

本文链接：https://blog.youkuaiyun.com/shifanfashi/article/details/94830010

# -*- coding: utf-8 -*-
import os
import json
import requests
import time
from multiprocessing import Process, Queue, Pool

class downloadinfo:
    def download_info(self):
        """ 下载列表页（包含对所有图片的描述信息），并存储到data/info.txt文件中 """
        page = 1
        while True:
            page_json = self.download_page(page)
            if not page_json['data']['list']:
                break
            self.save_page(page_json)
            page += 1

    def download_page(self, page):
        """ 下载某页面的信息 """
        url = 'http://api.pmkoo.cn/aiss/suite/suiteList.do'
        params = {
            'page': page,
            'userId': 153044
        }
        rsp = requests.post(url, data=params, timeout=100)
        print(rsp.text)
        return rsp.json()
    def save_page(self, page_json):
        """ 保存某页面的信息 """
        txt = json.dumps(page_json)
        with open('data/info.txt', 'a') as f:
            f.write(txt)
            f.write('\n')


class download_pic:
    def get_inf