爬虫练习csv录入

爬虫练习csv录入

发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源，可以在network找XHR或者在ALL找

打开第一个url

普通（非多线程下的爬虫案例+csv保存）

# 发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源
# 可以再network找XHR或者在ALL找

# 点开一个，url https://app.mi.com/details?id=com.kuaiyin.live
# XHR 里的packageName是这个                   com.kuaiyin.live
# 所以url为‘https://app.mi.com/details?id=’ 拼接+ packageName
# 通过 XHR找到的url为
# 第一页 https://app.mi.com/categotyAllListApi?page=0
# 第二页 https://app.mi.com/categotyAllListApi?page=1

import requests
import time
import random
from fake_useragent import UserAgent
import csv
class XiaomiSpider():
    def __init__(self):
        # {}为占位 在后面的来一个format占位页数
        self.url ='https://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30'
        # headers
        # self.headers ={
        #     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
        # }

    # 获取响应内容 获得的内容使json数据
    def get_html(self,url):
        lst =[]
        # 写一个假的headers
        headers ={'User-Agent':UserAgent().random}
        # 之前的方法 把json变成python字典类型
        # response =requests.get(html) response.text
        # data =json.loads(requests.text)
        # 方法2
        # data =requests.json()
        # html =requests.get(url,headers=self.headers).json()
        html = requests.get(url, headers=headers).json()
        # 调用parse_html函数
        lst += self.parse_html(html)
        # print(item,type(item))
        return lst

    # 解析响应内容
    def parse_html(self,html):
        lst =[]
        # 现在是字典类型了
        # item ={}
        for app_dict in html['data']:
            item = {}
            # 将每个html（app_dict）的应用名赋值给空字典item，并设下key和对应value值
            item['app_name']=app_dict['displayName']
            item['app_category'] = app_dict['level1CategoryName']
            # 这个是应用程序的url
            item['app_link'] = 'https://app.mi.com/details?id='+app_dict['packageName']
            lst.append(item)
        return lst
    def save_html(self,lst):
        with open('xiaomi.csv','w',encoding='utf-8',newline='')as f:
            headers = ('app_name', 'app_category', 'app_link')
            dwriter = csv.DictWriter(f, headers)
            dwriter.writeheader()
            dwriter.writerows(lst)

    def main(self):
        # 一共67页 因为时0为第一页，67页为66，但是range最后一个取不到，要加1 所以开始range（67）
        lst =[]
        for page in range(67):
            url =self.url.format(page)
            # 调用get_html函数
            lst += self.get_html(url=url)
            # self.save_html(item)
            # 控制抓取频率
            # n =random.randint(1,2)等于是1=<n<=2
            # time.sleep(random.randint(1,2))
        self.save_html(lst)


if __name__ == '__main__':
    xiaomi =XiaomiSpider()
    xiaomi.main()

结果