python爬虫学习，零基础入门（一）

Python爬虫学习

 

第一课：目标：会爬取豆瓣电影排行榜的前250

 

（1）在了解python爬虫之前，先了解了互联网和HTTP的知识，属于文本阅读阶段；

（2）爬取网页，首先要了解网页的构成，这里需要复习http有关的知识，建议在https://www.w3school.com.cn/该网站学习；

（3）重要的是一个requests的使用，主要用到了get和post方法，建议阅读http://2.python-requests.org/zh_CN/latest/文档，官方文档的阅读是学习的一个重要途径；

（4）学习使用了API；

（5）了解了JavaScript与AJAX技术；

 

任务：爬取豆瓣电影top50，在安装beautifulsoup失败的情况下，直接利用requests库实现了，参考了https://www.cnblogs.com/pzk7788/p/10522131.html中的方式。