l_vip的博客

python迭代器基本概念迭代：指重复执行某一件事很多次，就像使用循环一样。 容器：用来存储元素的一种数据结果，如list,set,dict,tuple,str规则优势：在需要使用一个值时，才去计算获取一个值，而不是通过列表一次性获得，（值过多占用太多内存），而且显得更优雅、简单通过。可迭代对象：大部分容器以及文件对象，管道对象等。一个实现了iter()方法的对象可迭代; 一个实现了next()

爬虫的基本结构    一个简单的爬虫结构应该包括5要素：调度器，URL管理器，网页下载器，网页解析器以及输出应用，各个结构的交互过程如下图。 1,URL管理器：作用：管理待抓取的URL和已抓取的URL**集合**，防止重复抓取以及循环抓取。 实现方式： - 存放在内存：使用set( )的数据结构 - 存在在数据库当中 - 存放在缓存中：如redis，支持set( )的这种数据结构

python是一门十分简洁的语言，它是一门面向对象的语言，但不仅包括了方法，而且还内置一些十分高效而且灵活的函数。函数式编程只关心输入，然后返回输出，不会对一些产生一些中间状态产生。下面是一些十分有用的内置函数lambda：匿名函数，当需要实现一个简单的逻辑，lambda匿名函数可以让代码不需要跳转到其他位置的函数中去执行，减少了函数定义的一些代码，使代码更加简洁可读，而且避免了函数名的冲突。这个函