Gexrior的博客

列表：shoplist = ['apple', 'mango', 'carrot', 'banana']字典：di = {'a':123,'b':'something'}集合：jihe = {'apple','pear','apple'}元组： t = 123,456,'hello'1.列表    空列表：a=[]    函数方法：a.append(3)     　　>

直接上代码 1.UrlManager 管理器# coding:utf8class UrlManager(object): #初始化，待爬取URL和已爬取URL def __init__(self): self.new_urls = set() self.old_urls = set() #添加新URL进管理器 def add_

1.基本结构 开发爬虫实例: 1.1、步骤 1.1.1、确定目标：确定抓取哪个网站的哪些网页的哪部分数据。本实例确定抓取百度百科python词条页面以及它相关的词条页面的标题和简介。 1.1.2、分析目标：最重要，确定抓取数据的策略。一是分析要抓取的目标页面的URL格式，用来限定要抓取的页面的范围；二是分析要抓取的数据的格式，在本实例中就是要分析每一个词条页面中标题和简介所在的标签的格式；三

1.# -- coding: utf-8 -这是用来说明你的Python源程序文件用使用的编码。缺省情况下你的程序需要使用ascii码来写，但如果在其中写中文的话，python解释器一般会报错，但如果加上你所用的文件编码，python就会自动处理不再报错。上述格式还可以写成：coding=utf-8或coding:utf-82.爬虫的基本架构 其中 URL管理器用来管理已爬和待爬的URL；