
爬虫
文章平均质量分 96
Zsky_3
机器学习、数据挖掘、爬虫
展开
-
基于scrapy的分布式爬虫抓取新浪微博个人信息和微博内容存入MySQL
为了学习机器学习深度学习和文本挖掘方面的知识,需要获取一定的数据,新浪微博的大量数据可以作为此次研究历程的对象 一、环境准备 python 2.7 scrapy框架的部署(可以查看上一篇博客的简要操作,传送门:点击打开链接) mysql的部署(需要的资源百度网盘链接:点击打开链接) heidiSQL数据库可视化 本人的系统环境是 win 64位的 所以以上环境都是需要兼容...原创 2016-08-23 21:45:53 · 16362 阅读 · 22 评论 -
win10 64位系统下 python2.7环境 scrapy的部署
需要用的依赖包及部署过程简介 前提已经安装好python2.7 背景: 刚接触爬虫 需要部署scrapy框架,windows下的部署工作对我这种刚接触的菜鸟来说确实挺麻烦的。需要用的资源整合了一下可以为以后需要的同学节省不少时间。 相关文件:网盘链接: http://pan.baidu.com/s/1hrL8SFq 一、依赖包 安装lxml-3.2.4.win32-py转载 2016-08-09 22:50:16 · 2609 阅读 · 0 评论