HouGISer的博客

文章目录背景背景我们知道，地图分为栅格和矢量两种。以往基本都是栅格地图，后来随着技术发展和地理数据不断积累，矢量地图慢慢开始流行。现在网络上看到的百度、高德、腾讯地图等，基本都是基于矢量切片来显示的，而遥感卫星影像，自然还是栅格切片。百度地图个性在线编辑器旧版...

文章目录痛点简介特点适用范围爬虫原理案例总结痛点说下为什么写这么一个爬虫框架？我们用python爬取静态页面，其实并不难，用bs4之类的库就可以基本解决节点解析取值的功能，我们往往觉得麻烦的地方在于：每次爬不同的网站要重新写一整套包括解析、存储、多线程、容错、日志等功能的爬虫，有没有一套框架，可以把所有可复用的功能封装起来，只把解析这部分工作丢给开发者呢？而把相同的部分封装，不同的部分暴露给开发者，其实本身就映射了某一种设计模式，这种设计模式叫做模板方法设计模式。该设计模式将相同的功能和流程控制放

新浪微博的热搜榜网址是http://s.weibo.com/top/summary，总共有50条，如图所示我们如何爬取这50条热搜呢？今天写一个简单的方法供感兴趣的朋友们参考！引用库：requestsjsonlxml.etreebs4.BeautifulSoup引用方法如下：如果没有下载的需要自行下载，下载根据python版本而异，方法就不赘述了。获取网页源码：headers={ 'User-A...

有一天我突然发现自己空间的说说竟然已经达到1833条，于是萌生了爬一下看看的想法（其实就是想学下python爬虫）。我找了一些博客，方法不少，但是有些并不适用。所以我把真正能用的方法记录下来，并且爬取了我自己的全部说说，亲测可用。下面我介绍下爬虫的写法。用到的库——selenium,requests,json,sqlite3,re,time,random其中，selenium是用于模拟Q...

QQ空间网络爬虫软件--qqzoneSpiderqqzoneSpider目录安装环境Python版本相关库爬虫相关数据库相关GUI相关可视化相关数据分析相关使用说明操作步骤原理爬虫原理介绍GUI原理介绍可视化原理介绍数据库原理介绍结语qqzoneSpideran interesting spider program (with GUI) for collecting your qqzone i...