很简单的爬虫——爬取糗事百科部分页面内容

最新推荐文章于 2021-12-22 23:43:30 发布

think_ycx

最新推荐文章于 2021-12-22 23:43:30 发布

阅读量885

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.youkuaiyun.com/think_ycx/article/details/45706457

python 专栏收录该内容

19 篇文章

订阅专栏

本文分享了一个简单的优快云爬虫实现过程，通过分析网页元素构造请求对象，并利用urllib2和正则表达式抓取指定内容。作者强调了正则表达式的重要性并分享了学习心得。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

教程地址

本来是为了交大作业，参考的一个优快云爬虫教程。

模仿占大半的东西交不交都无所谓了。

期待有一天，也可以写出这样技术性的博客。

分析：

由于这是针对专门一个网页的爬虫，所以需要事先分析好网页的元素。

比如：爬取内容的url、是否需要header验证、正则表达式的使用等等。

代码部分：

构造一个request对象，可以包含url，header，表单等等。

使用urllib2组件里的urlopen传入request对象，来获得返回的对象response。

之后需要用到re组件里的正则表达式。将获取到的html文件过滤，获得想要的字符串。

心得：

个人觉得正则表达式是一门学问，也有专门的书介绍这部分内容，有需要的话，值得研究。

关于语言的学习，现在的想法是最好划出单独的一大块时间学习，巩固，平时的零碎时间用来写，巩固。

# -*- coding: utf-8 -*- 
import urllib2  
import re

page = 1
while 1:
    myUrl = "http://m.qiushibaike.com/hot/page/" + str(page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }
    
    req = urllib2.Request(myUrl, headers = headers)
    
    myResponse = urllib2.urlopen(req)
    
    myPage = myResponse.read()
    
    p = re.compile(r"""(?<=<div\sclass="content">\n\n)
                    (.*?)\n
                    """,re.X)
    
    for m in p.finditer(myPage):
        print m.group()
    
    print '-------第'+ str(page) +'页-------'
    page=input()