sweet_dew的专栏

豆瓣的影评爬取 相比较于上一篇新闻类数据的爬取，这篇文章多了一些关于登录账号的处理 有时登陆网站需要进行头部伪装, 比如增加头部, 还有模拟服务器登陆 * header: 我们可以加一个header（一些反爬虫的机制），设置置代理，有些网站是反爬虫，所以要将其伪装成浏览器 * Format：是登录的账号和密码以及登录失败是重定向的网址，需要注意的是登录账号和密码的 step1:我们先看一...

新闻数据抓取 这篇文章，主要是记录自己学习爬虫过程。 整篇部分会分为2篇文章， 1，爬取http的网页(新闻网站)：获取各类主题的新闻的内容，eg:金融，体育，娱乐等等。 2，爬取https的网页（豆瓣）：获取豆瓣电影的影评。 从简到难，所以我们先http从爬取 第一部分：爬虫基础 1，简单的知识的介绍 先简单看一下http和https两者的概念的区别参考 ...