Pyhton实例，抓取百度词条关于Python的内容（一）

最新推荐文章于 2025-06-09 09:57:28 发布

XuRuiIsCoding

最新推荐文章于 2025-06-09 09:57:28 发布

阅读量6.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： --3.4Python 文章标签： python 实例百度数据

本文链接：https://blog.youkuaiyun.com/Gexrior/article/details/54141208

--3.4Python 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种基于Python实现的简单网页爬虫实例，通过抓取百度百科词条页面的标题和简介来展示整个爬虫的设计流程，包括目标确定、目标分析、代码编写及执行等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.基本结构
开发爬虫实例:
1.1、步骤
1.1.1、确定目标：确定抓取哪个网站的哪些网页的哪部分数据。本实例确定抓取百度百科python词条页面以及它相关的词条页面的标题和简介。
1.1.2、分析目标：最重要，确定抓取数据的策略。一是分析要抓取的目标页面的URL格式，用来限定要抓取的页面的范围；二是分析要抓取的数据的格式，在本实例中就是要分析每一个词条页面中标题和简介所在的标签的格式；三是分析页面的编码，在网页解析器中指定网页编码，才能正确解析。
1.1.3、编写代码：在解析器中会使用到分析目标步骤所得到的抓取策略的结果。
1.1.4、执行爬虫。
步骤图
2.抓取实验
2.1 进入百度词条”Python”页面，右击审查元素，获得页面相关信息，所需信息如下：
分析目标-所需信息
2.2
调度程序
spider_main

# coding:utf8
from Headwords import html_downloader
from Headwords import html_outputer
from Headwords import html_parser
from Headwords import url_manager


class Spider_Main(object):
    #爬虫的初始化，管理器、下载器、解析器、输出器
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.Outputer()



    def craw(self, root_url):
        count = 1
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            #有一些URL已经失效，或者无法访问，所以我们需要添加特殊情况
            try:
                new_url = self.urls.get_new_url
                print 'craw %d : %s'%(count,new_url)
                html_cont = self.downloader.download(new_url)
                new_urls, new_data = self.parser.parse(new_url,html_cont)
                self.urls.add_new_urls(new_urls)
                self.outputer.collect_data(new_data)
                #只爬取1000个
                if count ==1000:
                    break
                count = count +1
            except:
                print"craw failed"


        self.outputer.output_html()





if __name__ =="__main__":
    root_url = "http://baike.baidu.com/view/21087.htm"
    obj_spider = Spider_Main()
    obj_spider.craw(root_url)

今天先写到这里，后续更新。