很简单的爬虫——爬取糗事百科部分页面内容

本文分享了一个简单的优快云爬虫实现过程,通过分析网页元素构造请求对象,并利用urllib2和正则表达式抓取指定内容。作者强调了正则表达式的重要性并分享了学习心得。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

教程地址

本来是为了交大作业,参考的一个优快云爬虫教程。

模仿占大半的东西交不交都无所谓了。

期待有一天,也可以写出这样技术性的博客。


分析:
     由于这是针对专门一个网页的爬虫,所以需要事先分析好网页的元素。
    比如:爬取内容的url、是否需要header验证、正则表达式的使用等等。
     代码部分:
     构造一个request对象,可以包含url,header,表单 等等。
    使用urllib2组件里的urlopen传入request对象,来获得返回的对象response。
    之后需要用到re组件里的正则表达式。将获取到的html文件过滤,获得想要的字符串。
心得:
    个人觉得正则表达式是一门学问,也有专门的书介绍这部分内容,有需要的话,值得研究。
    关于语言的学习,现在的想法是最好划出单独的一大块时间学习,巩固,平时的零碎时间用来写,巩固。

# -*- coding: utf-8 -*- 
import urllib2  
import re

page = 1
while 1:
    myUrl = "http://m.qiushibaike.com/hot/page/" + str(page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }
    
    req = urllib2.Request(myUrl, headers = headers)
    
    myResponse = urllib2.urlopen(req)
    
    myPage = myResponse.read()
    
    p = re.compile(r"""(?<=<div\sclass="content">\n\n)
                    (.*?)\n
                    """,re.X)
    
    for m in p.finditer(myPage):
        print m.group()
    
    print '-------第'+ str(page) +'页-------'
    page=input()


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值