python优化工作流程：python用url爬取页面数据到网页Excel中（一）

最新推荐文章于 2024-06-22 19:07:40 发布

原创

最新推荐文章于 2024-06-22 19:07:40 发布 · 630 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python自动化 #简化工作流程 #爬取页面数据 #写入excel

本文介绍了如何使用Python自动化抓取数据库动态加载页面的数据，并对其进行处理，最后将数据写入到网页Excel中。作者首先通过浏览器开发者工具找到请求URL，然后解析JSON数据，最后探讨了将数据写入Excel的方案，尽管对于写入在线表格的方法还在探索中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

boss最近布置了个任务，把平时的后勤任务全部自动化，给了三个月的时间，如果是python大神，那当然是绰绰有余，可惜我不是啊，只好用旧有的东西和临时百度（对，虽然我可以上外网，但是我不认识英文，所以我用百度）拼凑一个出来。

知道一篇文章肯定是写不完了，所以加了个一，后续会跟上。

如果有正好同样有这个需求的，文章下方评论区多指教，有更好的方法的千万别藏着掖着，分享出来，嘿嘿嘿~~

第一步当然是抓数据了，我要抓的这个页面是从数据库动态加载的（别问我为啥不直接从数据库拿，数据库不是我家的），如果页面的数据不是从数据库加载，反而是通过标签就能获取到的，那就没必要往下看了，因为我，不会用标签获取（后期有需要再学）

获取方法：URL请求

第一步：拿到请求URL

打开浏览器要爬数据的网页，F12，默认是在elements上，打开network->XHR->Name下面带有？的都可以点击，就出现了右面的东西了，这个时候在Headers总就看到了要找的数据的url，复制，在浏览器中输入查询，会打开另一片天地呦

没找到贴代码的工具，就这么粘了，下面代码出来的数据就是在浏览器中直接访问上面的url看到的数据

import urllib
url = "上面的url"
headers = {
    'User-agent': '不一样自己看',
    'Cookie': '自己看自己的cookie是啥',
    'Connection': 'keep-alive',
    'Accept': 'text/plain, */*; q=0.01',
#   'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Host': 'agent.