oldbig_lin的博客

最近假期有空想学习一下python爬虫，百度一下发现Eclipse可以集成python插件，无奈十分麻烦，IDEA就不同了，引入python 插件十分简单，适合我这个小白Intellij IDEA15中Python安装：Intellij IDEA15建立Python项目编辑Python脚本在in

一，前言  之前利用scrapy爬取伯乐在线，知乎时是用到scrapy的basic模板，即Spider，这次用CrawlSpider来爬取拉勾网的招聘信息  CrawlSpider基于Spider，但是可以说是为全站爬取而生，是目前最流行的scrapy模板二，创建工程在cmd中cd进入项目的目录，然后输入：scrapy gensipder -t crawl lagou  w

首先要有一个scrapy项目这里用我的爬取知乎用户信息的项目来做例子：https://github.com/oldbig-carry/zhihu_user在cmd上cd 进入项目然后在项目目录下创建 记录文件：remain/001然后输入：scrapy crawl  zhihu  -s JOBDIR=remain/001回车运行就行了

1，前言  在爬虫的世界里，模拟登录是一项必备的技能，很多网站登录才能有浏览信息的权限，今天就在python来模拟登录知乎2，获取登录时post的参数   在网页上输入知乎的url：https://www.zhihu.com/#signin，随便输入一个手机号（13265604588）和密码（1234），按f12，然后点击登录，在 network就能获取提交的表单这

Python模拟登陆让不少人伤透脑筋，今天奉上一种万能登陆方法。你无须精通HTML，甚至也无须精通Python，但却能让你成功的进行模拟登陆。本文讲的是登陆所有网站的一种方法，并不局限于微博与知乎，仅用其作为例子来讲解。用到的库有“selenium”和“requests”。通过selenium进行模拟登陆，然后将Cookies传入requests，最终用requests进行网站的抓取。优点

1 前言   要说到爬虫界的明星，当属我们的python，而这得益于我们的爬虫明星框架--scrapy，这就让我们不得不学习它，这几天刚好用它做一些小demo，就将其总结一下，希望能对大家的学习爬虫有所帮助。   这次要爬取的是我们IT界挺有名的技术文章网站--伯乐在线的所有文章，并解析文章详情，本文适合有一定爬虫基础的同学（用过requests库，urllib库之类的）    本人的

1 Selenium1.1 简介    Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Rub

今天首次尝试python爬虫，爬取了简单的静态网站，1000个百度百科页面一、爬虫简介爬虫：一段自动抓取互联网信息的程序爬虫可以从一个url出发，访问其所关联的所有的url。并从每个url指向的网页中，获取我们所需要的信息。二、简单爬虫架构 1.Python简单爬虫架构（1）爬虫调度端：启动爬虫、停止爬虫、监视爬虫的运行