spider-web 是爬虫的网页版，使用xml配置

最新推荐文章于 2025-07-10 17:15:15 发布

weixin_34306676

最新推荐文章于 2025-07-10 17:15:15 发布

阅读量219

点赞数

文章标签：爬虫

本文介绍了一款名为spider-web的爬虫网页版，它使用XML配置，支持复杂页面抓取，并能将抓取内容保存、下载。配置文件详细展示了如何根据不同页面设置，支持流行页面抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。

其中配置文件格式为：

         <?
         xml 
         version
         =
         "1.0" 
         encoding
         =
         "UTF-8"
         ?>
        

         <
         content
         >
        

             
         <
         url 
         type
         =
         "simple"
         >
         <!-- simple/complex -->
        

                 
         <
         url_head
         >http://www.oschina.net/tweets</
         url_head
         >
        

                 
         <
         url_start
         ></
         url_start
         >
        

                 
         <
         url_end
         ></
         url_end
         >
        

                 
         <
         url_suffix
         ></
         url_suffix
         >
        

             
         </
         url
         >
        

             
         <
         analysis 
         type
         =
         "list"
         >
         <!-- single/list -->
        

                 
         <
         elem 
         name
         =
         "title"
         >
        

                     
         <
         attr 
         type
         =
         "key" 
         num
         =
         "1"
         >
         <!-- tag/class/key -->
        

                         
         <
         name
         >link</
         name
         >
         <!-- $http://my.oschina.net/(.)* -->
        

                         
         <
         pro
         >http://my.oschina.net/(.)*/[0-9]*</
         pro
         >
        

                     
         </
         attr
         >
        

                     
         <
         attr 
         type
         =
         "class" 
         num
         =
         "2"
         >
         <!-- tag/class/key -->
        

                         
         <
         name
         >tweet</
         name
         >
        

                         
         <
         pro
         >a</
         pro
         >
        

                     
         </
         attr
         >
        

                     
         <
         attr 
         type
         =
         "class" 
         num
         =
         "3"
         >
        

                         
         <
         name
         >txt</
         name
         >
        

                         
         <
         pro
         >a</
         pro
         >
        

                     
         </
         attr
         >
        

                     
         <
         attr 
         type
         =
         "tag" 
         num
         =
         "4"
         >
        

                         
         <
         name
         >a</
         name
         >
        

                         
         <
         pro
         >a</
         pro
         >
        

                     
         </
         attr
         >
        

                 
         </
         elem
         >
        

                 
         <
         elem 
         name
         =
         "content"
         >
        

                     
         <
         attr 
         type
         =
         "key" 
         num
         =
         "1"
         >
         <!-- tag/class/key -->
        

                         
         <
         name
         >link</
         name
         >
         <!-- $http://my.oschina.net/(.)* -->
        

                         
         <
         pro
         >http://my.oschina.net/(.)*/[0-9]*</
         pro
         >
        

                     
         </
         attr
         >
        

                     
         <
         attr 
         type
         =
         "class" 
         num
         =
         "2"
         >
         <!-- tag/class/key -->
        

                         
         <
         name
         >tweet</
         name
         >
        

                         
         <
         pro
         >a</
         pro
         >
        

                     
         </
         attr
         >
        

                     
         <
         attr 
         type
         =
         "class" 
         num
         =
         "3"
         >
        

                         
         <
         name
         >txt</
         name
         >
        

                         
         <
         pro
         >a</
         pro
         >
        

                     
         </
         attr
         >
        

                 
         </
         elem
         >
        

             
         </
         analysis
         >
        

             
         <
         target 
         type
         =
         "download"
         >
         <!-- download/text -->
        

             
         </
         target
         >
        

         </
         content
         >
        