药监局瑞数分析采集

采集截图

 通过js逆向生成瑞数加密的参数,封装到请求头中进行采集,配合docker部署多个服务,可以做到日更几十万的数据

扣扣交流可以加:1549990441 

### 使用 Python 处理药监局据 #### Fiddler4 和 Selenium 结合使用获取药监局网站据 为了从国家药监局网站上获取据,可以采用两种方法:一种是通过抓包工具Fiddler4配合安卓模拟器来捕获请求链接;另一种则是利用Selenium WebDriver直接操作浏览器自动化流程并提取所需的据[^1]。 对于前者而言,在配置好环境之后启动Fiddler4监听HTTP/HTTPS流量,并设置Android设备或其仿真器信任该代理服务器证书以便能够解密SSL通信。接着打开目标网页执行查询动作,则可以在软件界面内观察到所有进出站的消息记录从而定位至实际API接口地址。 而后者主要依赖于`webdriver.Chrome()`实例化对象加载页面元素直至完成交互过程中的动态渲染部分后再读取DOM树结构中包含的信息片段作为最终输出结果: ```python from selenium import webdriver import time options = webdriver.ChromeOptions() driver = webdriver.Chrome(options=options) try: driver.get('https://www.nmpa.gov.cn/') # 假设这里有一些针对特定控件的操作比如输入框填值按钮点击等事件触发 search_box = driver.find_element_by_id("searchValue") # 替换成真实的ID名称 submit_button = driver.find_element_by_class_name("submit-button-class") search_box.send_keys("2023") submit_button.click() time.sleep(5) # 等待页面加载完毕 finally: html_content = driver.page_source with open('./nmpa_data.html', 'w+', encoding='utf-8') as f: f.write(html_content) driver.quit() ``` 上述脚本展示了如何创建Chrome驱动程序并通过它访问指定URL以及模拟用户行为向搜索栏发送关键词后提交表单等待响应返回再保存整个HTML文档供后续解析处理。 #### 利用明文链接直接发起 HTTP 请求 如果已经掌握了确切的服务端点形式如:“https://www.nmpa.gov.cn/datasearch/data/nmpadata/search?...”,那么可以直接借助第三方库例如 `requests` 来简化网络层面上的工作量而不必绕远路去模仿真实用户的浏览习惯。下面给出一段简单的代码示例说明怎样构造参字典并向远程服务器发出GET方式的询问进而接收JSON格式的回答体: ```python import requests url = "https://www.nmpa.gov.cn/datasearch/data/nmpadata/search" params = { "itemId": "ff80808183cad75001840881f848179f", "isSenior": "N", "searchValue": "2023", "pageNum": 1, "pageSize": 10, "timestamp": int(time.time() * 1000), } response = requests.get(url, params=params).json() print(response['data']) # 输出具体的结果集列表项 ``` 这段逻辑同样适用于其他任何开放式的RESTful风格Web服务只要明确了各个字段含义即可灵活调整以适应不同场景下的需求[^2]。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值