tiweeny的博客

安装pip3 sudo apt-get install python3-pip 安装Scrapy依赖库 sudo apt-get install python-dev sudo apt-get install libevent-dev sudo apt-get install libssl-dev 安装Scrapy sudo pip3 install scarpy

Ubuntu 16.04下MongoDB安装、设置与使用安装MongoDB sudo apt-get install mongo 通过pgrep mongo -l查看进程是否已经启动 运行mongo进入数据库 MongoDB设置 关闭/启动服务 sudo servie mongodb stop #停止服务 sudo service mongodb start #启动服务 sudo service m

环境配置 Ubuntu 16.04 Python 3.5 技术框架 Scrapy Selenium PhantomJS 需求目标对网址http://liuyan.cjn.cn/index.html进行数据爬取本文爬虫有三层爬取，爬取结构层次如图所示， 主页面列表页面，需要利用selenium+phantomJS模拟点击加载更多按钮详情页面把主页面中的红框中的各区（功能区）、政府部门、法检及其他单位等

环境配置 Ubuntu 16.04 Python 3.5 技术框架 Scrapy 需求目标 本项目为汽车口碑分析，第一步需要爬取对于不同车型的评论数据。 选择58车的车型分类爬取评论数据。 爬取流程 先获取每个车型的链接，以下图中红框内的车型为例 打开链接后，抓取下图红框中的总评分，写入文件中。 写入总评分后，通过拼接链接进入该车型的用户评论页面。