Python简单爬取景点信息

前言

网络爬虫是为了获取互联网上的海量信息数据，在互联大数据加持的背景下，对数据合理利用成为了推动互联网发展的原动力。对个人而言，可以利用爬虫工具来获取自己想要的数据信息。海量的互联网数据如何筛选到自己想要的，并且有价值的呢，这里借取python的网络爬虫模块来实现景点信息爬取，进而获取收集相关景点的信息。

背景知识

Python爬虫主要由URL管理器、URL下载器、URL解析器、数据输出部分构成。不同的爬取内容，爬取的这几个模块也不相同，特别是URL管理器以及URL解析器，它们的设计要与爬取网站的结构相匹配。Python的beautifulsoup模块是比较常用的爬虫模块，它的解析功能非常强大，配合urlib模块可以实现简单的爬虫架构，下面是简单用urlib获取百度首页内容的样例：

#! /usr/bin/env python
# encoding: utf-8
import urllib.request
import http.cookiejar

url = "http://www.baidu.com"

#简单爬取百度首页
print ('simple crider')
response1 = urllib.request.urlopen(url)
print (response1.getcode())
print (len(response1.read()))

#自定义客户端爬取百度首页
print ('comple crider')
request = urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print (response2.getcode())
print (len(response2.read()))

#带cookie爬取百度首页
print ('cookie crider')
cj =  http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
response3 = urllib.request.urlopen(url)
print (response3.getcode())
print (cj)
print (response3.read())

Python爬取景点信息：

数据源来自百科词条，URL解析器根据词条简介栏的景点级别字段进行识别该词条是否属于景点相关的词条，然后由数据输出模块进行相关数据信息的收集整理输出。

#!/usr/bin/env python
# en