
爬虫
亨利何
Slow Walker, But Not SLOW.
展开
-
Python 爬虫思路梳理
python模拟登陆教务系统爬取个人信息及成绩 /* 梳理思路 */ 通过CDT来了解登录教务系统的过程中,所有的GET/POST等请求内容,以及资源指向 GET请求了解其详细query参数,POST请求了解其formdata值 构建请求,发送数据,处理返回数据 /* 关键代码 */ 建立请求加上cookie方便后面处理 self.cookie原创 2016-08-11 22:42:59 · 1641 阅读 · 0 评论 -
python爬虫实现网盘资源搜索
网盘搜索引擎 v1.0.0 网盘资源搜索实现也是 爬虫的思路 ,通过向服务器发送含有搜索关键字的GET请求,然后处理返回值. 这里就涉及到html / json / xml 解析, 我利用自带的库做了简单的解析。原创 2016-08-12 21:18:25 · 3691 阅读 · 0 评论 -
Python | Pip 安装模块速度MB级提升
Pip install 命令在安装所需要的模块时,虽然大小只有十几MB,但是由于速度太慢(987bytes/s),导致下载时间过长而失败,文章中经过添加配置文件解决速度问题,下载速度提升(9.8MB/s)Base Ubuntu 16.04 在/home/user/路径,新建.pip目录 ,在该目录新建配置文件pip.conf cd ~mkdir .pipcd .piptouc原创 2017-08-26 11:00:22 · 378 阅读 · 0 评论 -
Src-python爬虫资源搜索
Src Nginx反向代理后端Python服务器 Back-end: Flask Front-end: Layuiv1 搜索网络云资源(多为百度云盘),提供资源链接,资源中类不做限制,能够作为视频播放器,音乐播放器(…偷懒…),供大家学习交流使用。v2 还在开发中…原创 2017-10-31 09:06:35 · 1161 阅读 · 1 评论 -
基于Flask框架的python微博数据分析
Python-微博数据(博文)分析项目简介后端采用Flask框架搭建,通过移动端接口获取数据,数据清洗后采用jieba进行词法分析,通过WordCloud制作词云展示(数据的可视化在以后的版本中会细化)版本V0.0.1功能 能够获取用户的博文数据 [1] 能够获取用户的公开信息,包括昵称,粉丝,关注 [2] 能够通过分析用户已经发布的微博,并生成“专属笔记” [3]展示[1原创 2017-09-13 09:05:46 · 2659 阅读 · 0 评论