camel的blog

一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。 2、Scheduler（调度） 调度程序从Scrap

具备简单的管理功能，运行后 telnet localhost 9000 端口可以进行管理主要功能就是做包转发，如果有一个桥服务器，可以用来外网访问内网用，还是很管用的 #/bin/env python    002 #coding:utf-8    003     004 i

1： #! /usr/bin/env python # -*- coding: utf-8 -*- #filename:splider.py #author:wfu(fuweilin@hotmail.com) from spdUtility import PriorityQueue,Parser import urllib2 import sys import os def updat