作为一名python的初学者,有必要在学习的过程中记录笔记,方便以后查看。另外,现在的技术更新很快,通过书籍和视频学习python时,有些内容可能已经过时,所以在此将更新过的内容记录下来。
由于requests应用起来比urllib方便很多,而正则表达式是HTML解析的基础方法,因此本文利用requests+正则表达式将猫眼电影的相关信息爬取下来,然后以文件的形式保存下来。
(1)目标站点分析
首先打开猫眼电影http://maoyan.com/,依次点击“榜单”和“TOP100榜”,页面显示出TOP100榜单的电影信息:
拉到最底部,发现每页有10部推荐电影,点击“下一页”,网页URL中的“offset”变为10:
下面进行网页代码的分析。在网页中点击右键--》“检查”,审查网页元素,可以发现每部电影均包含在一个“<dd>...</dd>”标签之中:
打开标签,可