超级会员免费看
- 大家好，我是同学小张，日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
- +v: jasper_8017 一起交流💬，一起进步💪。
- 微信公众号也可搜【同学小张】 🙏
本站文章一览：
目前为止，我们已经写了几个爬虫程序，能将网页中的内容提取出来，或者保存成PDF。本文来总结一下这些方法，循序渐进地带大家看下爬虫的实现方法：从单个网页爬虫，到利用大模型提取指定信息，到利用AI Agent实现自动编写爬虫代码实现通用爬虫。
说明：本人爬虫小白，所以 这篇文章总结的是简单的爬虫程序，可以直接使用的程序 。没有复杂的操作，也没有深入的理解。适合爬虫小白或只是将爬虫作为一个数据来源的非专业人员。想要深入理解爬虫原理的同学，可以退出了。
文章目录
0. 单网页的专用爬虫实现方法
这种爬虫是针对特定网页的数据爬取，可以是一个网页，或者是一系列结构相似的网页。
这种爬虫的实现方法，最主要的是，需要打开网页，F12调试，然后找自己需要的文本内容在HTML中的Tag或Class。
0.1 基本的爬虫程序实现方法
如果你会一点爬虫基础，那看到网页结构，应该就知道怎么利用 BeautifulSoup 写一个简单的爬虫程序了。但是如果你一点爬虫基础也没有，不知该如何下手呢？可以利用ChatGPT、文心一言、智谱清言等工具帮你。保姆级操作教程可看下面的文章：
文章中包含了如何找到你需要的文本内容在HTML结构中的Tag、class，如何给大模型Prompt和交互等：
订阅专栏 解锁全文
扫一扫
2947
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
