诺亚废船

python链家网二手房数据爬取由于想练习一下Python的数据清洗，并将之前学习的机器学习内容付诸以实践，发现二手房市场的数据分析报告的内容十分匮乏。故此，通过Python爬取“链家网”杭州市二手房房源信息，辅助以Mongodb、PowerBI、Spss、Highchart实现数据的获取、数据的存储与查询、数据的初步统计描述、数据的可视化、数据的建模分析、数据的报表呈现。通过机器学习的随机森林算法

Python Requests库Selenium+Phantomjs的使用Python爬虫的Requests库主要应用于requests.get()和requests.post()的使用。GET请求从服务器后端获得网页相关信息。POST请求主要通过发送表单给服务器，例如登陆密码。POST之后会返回一定的信息，例如一个新网站或者相关数据。其中的参数包括：headers头部信息（包括浏览器的相关信

Ubuntu上搭建Selenium+ChromeSelenium的搭建：直接通过Pip进行安装sudo pip install seleniumChrome浏览器需要安装ChromeDriver驱动来做web的自动化处理。1.首先需要根据需要安装Chrome浏览器，根据浏览器的版本信息，下载对应的chromedrver。浏览器的版本信息在setting中about chrome可以查询。http

Scrapy基本流程1.首先说一下框架的概念。之前一直故步自封与一个requests+bs4以及一些Selenium+Phantomjs零零散散的一些爬虫流程。从招聘网站上看到python爬虫的工作都需要掌握Scrapy框架以及Selenium技术才恍然大悟，一个成型的框架首先搭建好了一个完整的爬虫逻辑，各个功能也相对封装的很棒，对于大规模数据爬取，只要将对主要爬虫细节进行设计（每个网页的结构特点不

命令行基本操作通过pip3 install scrapy安装完scrapy后，在命令行输入scrapy可以看到scrapy的相关命令。