数据采集——爬虫篇(一)：豆瓣电影TOP250详细信息采集

数据采集——爬虫篇(一)：豆瓣电影TOP250详细信息采集

.

1.分析豆瓣url换页变化

打开
https://movie.douban.com/top250?start=0&filter=
来到豆瓣主页
此处可以观察到电影是在第1个序号开始的，暂时记住url，观察后续变化

切换第二页，发现url变化：
https://movie.douban.com/top250?start=25&filter=
第二页如下：

**url第一页：https://movie.douban.com/top250?start=0&filter=
**url第二页：https://movie.douban.com/top250?start=25&filter=
可以明确观察到切换一页start=后的参数增加25
通过页面数据发现一页是25个电影
通常情况下数组的下标是在0开始的
即0是第一个元素，所以第二页是从第26个电影开始，按照数组排序是编号25的元素开始，由此可以得知url的参数从0开始到24为第一页的25个电影，第二页起始则为25，以此类推后续页数起始值是50,75…

.

2.python模拟发送requests请求主页信息：

代码如下：

import requests
url = 'https://movie.douban.com/top250?start=0&filter='
headers = {
   
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} 
response = requests.get(url, headers=headers)  #headers是模拟浏览器的头部标识，这是反爬机制的一种
text = response.text
print(text)

可以在打印的结果中看到该页的网页源码（以下展示部分源码）：

<li>
            <div class="item">
                <div class="pic">
                    <em class="">1</em>
                    <a href="https://movie.douban.com/subject/1292052/">
                        <img width="100" alt="肖申克的救赎" src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.webp" class="">
                    </a>
                </div>
                <div class="info">
                    <div class="hd">
                        <a href="https://movie.douban.com/subject/1292052/" class="">
                            <span class="title">肖申克的救赎</span>
                                    <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
                                <span class="other">&nbsp;/&nbsp;月黑高飞(港)  /  刺激1995(台)</span>
                        </a>


                            <span class="playable">[可播放]</span>
                    </div>
                    <div class="bd">
                        <p class="">
                            导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...<br>
                            1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情
                        </p>

                        
                        <div class="star">
                                <span class="rating5-t"></span>
                                <span class="rating_num" property="v:average">9.7</span>
                                <span property="v:best" content="10.0"></span>
                                <span>2035033人评价</span>
                        </div>

                            <p class="quote">
                                <span class="inq">希望让人自由。</span>
                            </p>
                    </div>
                </div>
            </div>
        </li>

根据该段源代码，编写正则表达式来获取详细信息：
以下使用正则表达式的懒惰（非贪婪）模式，(.*?)为需要获取信息的字段

regix = '<div class="item">.*?<div class="pic">.*?<em class="">(.*?)</em>.*?<img.*?src="(.*?)" class="">