houqinzhi的专栏

需要安装的依赖： 1.Python 2.setuptools 3.twisted 4.zope.interface 5.w3lib 6.libxml2 7.libxslt 8.lxml 9.scrapy   Scrapy是一个开源的基于twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。 yum install ...

为使项目框架结构清晰，添加的spider的按城市划分存储位置。 例如宁波新闻网—综合频道，则在spiders下面建一个ningbo(宁波)的文件夹，将该版面的spider写在该文件夹下面。 项目设计框架图：     实际项目tree图片见附件tree.jpg  webcrawler:. |——scrapy.cfg |——webcrawler: |——items.py ...