scrapy框架

一、来自scrapy框架的数据项加载器处理器代码

# -- coding: utf-8 --
　　import scrapy
　　import scrapy.loader
　　from scrapy.loader.processors import Join, MapCompose, TakeFirst

class TencentItemSpider(scrapy.Spider):
　　name = ‘tencent_item’
　　allowed_domains = [‘ke.qq.com’]
　　start_urls = [‘https://ke.qq.com/course/list?mt=1001&st=2002&tt=3019&price_min=1&page=1’]

def parse(self, response):
　　item = JobscrapyItem()
　　# loader = scrapy.loader.ItemLoader(item=item,selector=response.selector)
　　# loader = scrapy.loader.ItemLoader(item=item, response=response)

# 测试xpath的代码
　　# price = response.xpath(’/html/body//section/div/div/ul/li/div/span[@class=“line-cell item-price”]/text()’)
　　# print(‘self：’, len(price), price.getall())
　　# company_name = response.xpath(’/html/body//section/div/div/ul/li/div/span/a/text()’)
　　# print(‘self：’, len(company_name), company_name.getall())

course_list = response.xpath(’/html/body//section[@class=“main autoM clearfix”]/div/div/ul/li’)
　　print(len(course_list))
　　for course_ in course_list:
　　# loader = scrapy.loader.ItemLoader(item=item, selector=course_)
　　loader = CourseItemLoader(item=item, selector=course_)
　　loader.add_xpath(‘company_name’, ‘div/span/a/text()’)
　　loader.add_xpath(‘course_price’, ‘div/span[@class=“line-cell item-price”]/text()’)

re = loader.get_xpath(‘div/span[@class=“line-cell item-price”]/text()’)
　　# print(re)
　　yield loader.load_item()

def in_price_processor(value):
　　print(float(value[0][1:]))
　　# print(value)
　　# 删除￥符号，转换为float类型
　　return float(value[0][1:])

def out_price_processor(value):
　　print(value)
　　# 删除￥符号，转换为float类型
　　return value[0] + 100

class JobscrapyItem(scrapy.Item):
　　# 培训公司名
　　company_name = scrapy.Field()
　　# 课程价格
　　course_price = scrapy.Field(
　　# input_processor=in_price_processor,
　　# output_processor = out_price_processor
　　)

# -----------------------重点关注这个全局函数的self参数
　　def price_processor(self, value):
　　print(self) # 输出的类型是CourseItemLoader
　　print(float(value[0][1:]))
　　# print(value)
　　# 删除￥符号，转换为float类型
　　return float(value[0][1:])

class CourseItemLoader(scrapy.loader.ItemLoader):
　　course_price_in = price_processor # 这个函数被调用。
　　# course_price_out = price_processor
　　二、Python的接口编程实现技巧
　　从上面代码可以得到一种类似抽象接口实现的编程技巧；尽管传统使用的是抛出实现异常机制，我觉得这种编程思路也不错（传统异常方式稳定性，逻辑性更加好点），可以减肥食谱：www.sheonline.cn实现类的定义与成员实现的分离，达到程序设计的低耦合实现，在此备忘一下代码。

class A:
　　meth = None

def meth(self, param):
　　print(param)

class B(A):
　　meth = meth

b = B()
　　b.meth(‘hello’)
　一看到“IT高手”这几个字，大家都会想到黑客，是的，黑客是IT高手，但IT高手并不一定是黑客。我心目中IT高手，是电脑技术特别是软件开发技术非常厉害的人，能开发非常优秀软件被大家使用的人。
　　IT高手有两个技术方向。一个是嵌入式单片机开发方向；另一个是电脑上的软件开发方向，主要是Windows XP及以上版本操作系统中的软件开发。
　　我们首先来说一下嵌入式单片机开发方向，以下是学习嵌入式单片机最佳过程：
　　1. 《C语言程序设计》。这个是嵌入式单片机的软件基础。
　　2. 《单片机基础》。这个是嵌入式单片机的硬件基础。以8位单片机中最典型的80C51单片机讲解，以汇编编程。
　　3. 《单片机C语言程序设计》。这个是用C高级语言来开发单片机软件的方法，单片机C和《C语言程序设计》中内容大部分相同，只是其中一些与单片机硬件有关的编程不同，我们要学的也是这一部分。
　　4. 《数据结构》C语言版和《算法基础》。这个是进一步灵活应用C/C++语言来开发高水平软件的基础，也是软件开发的灵魂。当然电脑上的软件开发也要用到它。
　　5． 《32位单片机开发》。以上是8位单片机，所以要进一步深入学习就要学习32位单片机。主要学习32位单片机硬件特性。各种丰富的外设如屏，SD，蓝牙，网络，摄像头等开发。
　　6．《linux操作系统》和《C++程序设计》。 进一步发挥32位以及64位单片机特性。搭建具有更加丰富的外设平台，以满足各种实际应用的需要。
　　学完以上，差不多就是嵌入式单片机中的高手了，要想成为高手中的高手，只是多练习、多实践、多做项目、熟能生巧的过程了。
　　接下来我们说一下电脑上的软件开发方向，以下是学习电脑端软件开发最佳过程：
　　1. 《C语言程序设计》。这个是面向过程软件的基础。
　　2. 《C++语言程序设计》。这个是面向对象软件的基础。
　　3. 《数据结构》C语言版和《算法基础》。这个是进一步灵活应用C/C++语言来开发高水平软件的基础，也是软件开发的灵魂。
　　4. 根据自已想从事工作的方向选一种高级语言和开发工具学习。
　　VC++介绍： 硬件平台上位机开发，驱动开发，游戏开发，黑客技术等偏底层的软件开发，当然，其实它可以开发任何软件。
　　JAVA介绍： 开发网络软件，且跨平台特性。其实它可以开发大多数软件。
　　Delphi介绍：开发数据库软件，其实它可以开发大多数软件。
　　PHP介绍： 是一种 HTML 内嵌式的语言，开发动态网页，站点等等。
　　Python介绍： 是一种解释型脚本语言，可以应用于以下领域:
　　Web 和 Internet开发，如网络爬虫等等；
　　科学计算和统计。
　　我重点讲一下VC++的学习方法：
　　A． 第一步要学会WIN32项目和MFC类库的运行流程，也就是说知道自已要在那儿写代码或修改代码，达到自已想要的功能。
　　这方面建议看《深入浅出MFC》 侯俊杰著，这是非常经典的书，看完你就知道软件是怎样运作的，你VC++就入门了。
　　B． 第二步要根据自已工作方向，多买不同版本类似工作的书。且一定要买一本MFC类库手册，方便自已查阅类和函数。
　　C． 第三步是多练习、多实践、多做项目、熟能生巧的过程了。
　　D． 以上是学习VC++的方法。其它语言也一样，先要搞懂类库的运行流程，再就是结合工作方向学习具体相关知识，最后是多练习、多实践、多做项目就可以了。
　　学完以上，差不多就是电脑端软件开发中的高手了，要想成为高手中的高手，只是多练习、多实践、多做项目、熟能生巧的过程了。
　　看完上面的内容，大家可能觉得有好多内容啊！好难啊！是的，成为高手那有那么容易。但是只要学好C/C++语言程序设计，并在学习过程中培养自已高效的自学能力和创新精神，成为高手也是指日可待的。