【爬虫Practice3】爬取药监总局企业详情

该博客讲述了如何使用Python进行网络爬虫，从药监总局网站动态加载的页面中抓取企业信息。首先，通过模拟POST请求获取企业ID列表，然后利用这些ID动态请求每个企业的详细信息并存储为JSON文件。整个过程涉及到动态加载页面的识别、HTTP请求、数据解析及文件写入。

思路：打开药监总局输入URL爬取的并不能获得全部信息，说明页面存在动态加载由Ajax请求的通过抓包查看。通过首页域名+id 可以获得企业详情页的信息 id可以通过首页获取到，验证刚才获得的URL看一下是否是动态加载看抓包工具查找数据发现URL得不到也是动态加载的，多找几个类比一下观察URL和参数。如何批量获取企业ID？在首页的数据中。

import requests
import json
from fake_useragent import UserAgent

if __name__ =="__main__":
    
    id_list = []
    firm_detail_list = []
    
    user = UserAgent()
    headers = {
        'User-Agent' : user.random
    }
    url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
    
     # 1.获取ID
    for page in range(1,9):
        page = str(page)
        data = {
            'on': 'true',
            'page': page,
            'pageSize': '15',
            'productName':'' ,
            'conditionType': '1',
            'applyname': '',
            'applysn': '',
        }
        onepage_response = requests.post(url=url, headers=headers, data=data)
        onepage_json_ids = onepage_response.json() # 查看数据类型是字典
        for dic in onepage_json_ids['list']:
            id_list.append(dic['ID'])
    
    # 2. 获取企业详情 这里仅以打印1-8页为例
    firm_url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
    for id in id_list:
        data = {
            'id':id
        }
        detail_json = requests.post(url=firm_url, headers=headers, data=data).json() #dictinary
        firm_detail_list.append(detail_json)
    fp = open('./allDATA.json', 'w', encoding='utf-8')
    json.dump(firm_detail_list, fp, ensure_ascii=False)
    print("Done.........")