- 博客(6)
- 收藏
- 关注
原创 playwright 解决反爬难题的利器
本文介绍了使用Playwright解决反爬问题的爬虫方案。通过模拟真实浏览器行为,可以有效绕过网页反爬机制。文章以七麦数据网站为例,详细展示了爬取流程:1)环境配置与基本语法;2)登录状态保存与复用;3)采用"URL池+详情页消费"的两阶段爬取策略。代码实现了随机休眠、页面滚动等拟人化操作,并处理了反爬检测(如隐藏webdriver属性)。该方法特别适合处理反爬等级较高的网站,相比传统爬虫更稳定可靠。完整代码包含榜单页URL收集和详情页信息提取两个部分,最终将数据保存为CSV文件。
2026-01-21 20:06:47
219
原创 当你连不上外网但是想用wiki百科的数据时
本人在复现代码《React》这篇论文时,发现它需要通过检索来获取维基百科上的数据,但是我的wsl环境按照教程配置了将近5个小时也没能成功脸上google真是难过,所以我决定将wiki百科数据库部署到本地进行检索(无奈之举吧,但是好歹有这个靠谱的解决方案了)
2025-07-09 18:47:51
1247
原创 python中的Counter简略解释
在leecode写动态规划编程题时遇到的,基本上猜出来了是计数的意思。但还是详细学习了一下。Counter是字典dict的子类,用于计数可哈希(hashable)对象。PS: 在Counter中访问不存在的元素时,会返回0。
2025-02-22 20:26:16
230
原创 如何在vscode进行wsl连接后打开并运行python程序
2.然后再输入完整的文件路径,像我的路径是:E:\NLP\ee_realize\EventExtraction_RAAT,我就会如下输入,但是此时并不会进入相应的文件夹。3.还需要以下输入,进入相应的文件夹;用code . 打开对应文件目录或使用 ls -al 查看命令行目录。我们需要 在vscode中建立与wsl的连接,并确保python的正常使用,即左下角出现如下图的图标。PS:python3 与 python 在linux中指代不同,不可以混淆。PS:本部分第三张图用于检验是否成功打开。
2025-02-20 14:22:31
1337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1