- 博客(5)
- 收藏
- 关注
RSS订阅原创 scrapy学习（三） crawlspider源码解析
Crawlspider源码解析 Spider中的入口函数start_requests调用默认的Crawlspider中重写的parse函数 def parse(self, response): return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True) parse_sta
2017-07-20 13:30:28
515
原创 scrapy学习（一）
伯乐 jobbole.py Spiders中的jobbole.py:用来爬取的主要网页，里面的spider类主要有两个方法，parse方法和parse_details方法，在scrapy中，主要使用异步的方法进行爬取，它自己构建了request方法，使用yield去发出请求，并交给scrapy的下载器对url的内容进行下载，传给声明好的调用函数，默认下就是parse，也可以自
2017-07-20 11:06:57
339
原创 ASNYCIO 中task，coroutine和future
COROUTINE Coroutine 利用async def（py3.5）去定以，或者使用生成器进行定义。 Coroutine，跟生成器差不多，用于两种不同但是相关的概念： 1：用于定义coroutine的coroutine函数，使用iscoroutinefunction()来查看是否为coroutine类型的函数 2：coroutine，被coroutine类型函数调用的对象，用于能
2017-07-18 14:37:58
1152
转载 graph确定是否有循环
算法： 先获取点的列表，索引对应点的顺序，值对应能通向的节点的列表——>[ [1,2,3] , [2,4] , [3,4] , [ ] , [ ] ] 给每个点标上标签，是否当前路线"now“ 和 该节点对应的邻节点，用列表与字典表示——> [ {"visited":False,"neighbours":neighbours} for neighbours in adj]
2017-05-25 18:53:00
585
转载 区间模糊排序，给出对应点集，并统计对应点所落在的区间的次数
过程是先对区间和点进行混合排序例如[a1,b1][a2,b2],[a3,b3],[a4,b4],[a5,b5]和点集[c1,c2,c3]结果为[a1,a2,c1,a3,c2,b1,a4,b2,b3,c3,a5,b4,b5]在排序的时候同时创建一个用于标记起始点结束点和点的列表对结果中的每个c进行次数统计程序中排序使用快速排序import sys import random def less_th
2017-04-16 20:35:47
290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人