一个想法造一天——micropython究极爬虫

本文围绕爬虫展开,介绍了MicroPython借助urequests库实现爬虫,探讨应对复杂反爬网站的方法。还分享了在PC端使用github action进行爬虫的经历,包括遇到的问题及解决办法。此外,研究了onenet的数据传输和可视化,最后因担心封号调整了爬虫频率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

micropython能爬虫不,当然能啊,有urequests库就可以。
爬点时间、天气等简单的行,遇到复杂的,带有反爬的网站咋办?

今天琢磨了一天,实现了。
绕路走呗,绕地球走了一大圈。

想搞定PC端的爬虫,然后玩了下github action挺好,初步的会了,就是push仓库那里总是错,不知道差哪了。然后ubuntu的selenium死活不好使,一激动换windows的了,过了。。。直接http传到onenet了。

不得不说onenet的文档就是坨答辩,每次去都翻半天,就特几个get put post方法,绕绕绕,而且文档一直没更,结构逻辑特乱,新人根本找不到地方,耐着性子搞好了,最后还研究了一下可视化,app的不能用了,可视化基础版还可以,这里错怪onenet了,做好的在这
可视化爬虫 kickstarter众筹数据

最后听说用github action搞爬虫容易封号,吓得我赶紧把一小时一爬改成了一天两爬,再封我我认了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值