网络爬虫主要是抓取指定的html网页后从获取到的网页中利用正则表达式提取我们需要的信息。Python给我提供了几个模块供我们使用，在源代码中可以看到它们的用法。
利用用python的urllib和urllib2模块实现网络爬虫比较简单：
a、写出合适的正则表达式
b、用urllib2的urlopen函数打开指定的网页并将网页内容读取到字符串中
c、用re模块的findall查找和正则表达式相匹配的内容、并将内容记录到list中
d<
利用python爬虫抓取OJ上做题信息（扩展版）
最新推荐文章于 2022-11-10 15:26:55 发布
本文介绍了如何使用Python的urllib和urllib2模块配合正则表达式抓取在线编程平台（OJ）上的题目信息。通过编写合适的正则表达式，打开网页并读取内容，再用findall函数提取所需信息，实现了数据的抓取和处理。程序具有良好的扩展性，可灵活适应不同OJ和题目数量的需求。
最低0.47元/天 解锁文章
扫一扫
1075
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
