python爬虫入门，跟着视频敲出了第一个爬虫程序

很早以前就对爬虫感兴趣了
最近在b站找到了个不错的教程：BV12E411A7ZQ
讲的很细致，保姆级教程，强烈推荐！！

废话不多说，先放一个可以跑的成功代码：

"""
爬虫练习
"""
from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt


# 链接的规则
findLink = re.compile(r'<a href="(.*?)">')
# 图片链接
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)   #re.S 让字符包含换行符
# 片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
# 概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)

def main():
    baseurl = "https://movie.douban.com/top250?start="  	#网址
    datalist = getData(baseurl)
    savepath = "豆瓣电影Top250.xls"
    saveData(datalist, savepath)  # 保存数据


# 爬取网页
def getData(baseurl):  
    datalist = []
    for i in range(0, 10):  # 调用获取页面信息的函数，10次
        url = baseurl + str(i * 25)
        html = askURL(url)  # 保存获取到的网页原码

        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_="item"):
            # print(item)
            data = []
            item = str(item)

            link = re.findall(findLink, item)[0]
            data.append(link)

            imgSrc = re.findall(findImgSrc, item)[0]
            data.append(imgSrc)

            titles = re.findall(findTitle, item)
            if (len(titles) == 2):			#片名可能存在中文名和外文名
                ctitle = titles[0]
                data.append(ctitle)

                otitle = titles[1].replace("/", "")
                data.append(otitle)
            else:							#也可能不存在外文名
                data.append(titles[0])
                data.append(' ')

            rating = re.findall(findRating, item)[0]
            data.append(rating)

            judeNum = re.findall(findJudge, item)[0]
            data.append(judeNum)

            inq = re.findall(findInq, item)
            if len(inq) != 0:		
                inq = inq[0].replace("。", "")
                data.append(inq)
            else:								#可能没有概况
                data.append(" ")

            bd = re.findall(findBd, item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?'," ", bd)	#\s表示空白
            bd = re.sub('/', " ", bd)
            data.append(bd.strip())
            datalist.append(data)
    return datalist

def askURL(url):
    head = {  # 模拟浏览器头部信息，向豆瓣服务器发送信息
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.73"
        # user-agent必须与网页完全一致
        # 用户代理，表示告诉服务器，我们是什么类型的机器，浏览器
    }

    request = urllib.request.Request(url, headers=head)     # 发送请求
    html = ""

    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    return html

def saveData(datalist, savepath):     # 保存数据
    print("save.......")
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)
    sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)
    col = ("电影详情连接", "图片链接", "影片中文名", "影片外文名", "评分", "评价数", "概况", "相关信息")
    for i in range(0, 8):
        sheet.write(0, i, col[i])
    for i in range(0, 250):
        print("第%d条" % (i+1))
        data = datalist[i]
        for j in range(0, 8):
            sheet.write(i+1, j, data[j])
    book.save(savepath)


if __name__ == '__main__':
    main()
    print("爬取完毕！")

下面是运行结果：

庆幸自己敲了一遍代码，不然不会发现一些细微的错误——
第一次跟着敲完，运行失败：

跟往常一样，我直接去找第116行，第29行，第111行处有什么错误
经过了自己的检查（大小写，单词拼写，符号是否正确）后并没有发现什么错误
之后我详细的把saveData函数再认真的检查了一遍，也没用发现错误
这就奇了怪呀，我是跟着视频敲的，怎么会出错呢？
之后我再把那几个视频反反复复对比，还是没有发现错误，这下我崩溃了
不过还不能放弃！很幸运的，我在社区找到了跟我一样有这个问题的小伙伴，并且得到了作者的回复
（那篇文章的作者刚好跟我看的是同一个教程，写的很好很详细，搜索“爬虫”，写着“老年人都看得懂”就是了，后面也帮我解决了一个问题，在此非常感谢！！！）

是正则表达式出了问题吗？
我根据作者描述的，去检查了一遍，发现我的代码里"<"和"a"之间，“p"和”>"并没有空格，稳妥起见我甚至把他删了再敲一遍，还是同样的报错
“到底是哪里出了问题呢？”
我决定把作者给出的代码复制过去一一比对
复制过去马上就跑成功了，这说明环境是没问题的
下面就是漫长的比对环节，成功发现了我一大处缩进错了：
！！错误警告！！

def getData(baseurl):  # 收集数据
    datalist = []
    for i in range(0, 10):  # 调用获取页面信息的函数，10次
        url = baseurl + str(i * 25)
        html = askURL(url)  # 保存获取到的网页原码

        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_="item"):
            # print(item)
            data = []
            item = str(item)
        link = re.findall(findLink, item)[0]			       #从这里开始下面的缩进都错了
        data.append(link)

        imgSrc = re.findall(findImgSrc, item)[0]
        data.append(imgSrc)

        titles = re.findall(findTitle, item)
        if (len(titles) == 2):
        	ctitle = titles[0]
        	data.append(ctitle)

       		otitle = titles[1].replace("/", "")
        	data.append(otitle)
         else:
            data.append(titles[0])
            data.append(' ')

         rating = re.findall(findRating, item)[0]
         data.append(rating)

         judeNum = re.findall(findJudge, item)[0]
         data.append(judeNum)

         inq = re.findall(findInq, item)
         if len(inq) != 0:
             inq = inq[0].replace("。", "")
             data.append(inq)
         else:
             data.append(" ")

         bd = re.findall(findBd, item)[0]
         bd = re.sub('<br(\s+)?/>'," ", bd)
         bd = re.sub('/', " ", bd)
         data.append(bd.strip())
         datalist.append(data)
	return datalist

由于缩进出了问题，item只遍历了一条
所以运行结果只出现了“第一条”的字样
非常快的我把缩进问题解决了，兴奋的我决定马上跑一次程序看看！
于是又出现了报错：

仔细观察会发现这跟第一次的报错很像，这次我就不会傻傻的在去它说的那几行检查了
我注意到了倒数第二行：rating……
“难道是rating的正则表达式出问题了？”
我再次仔细比对了正确的代码
很快便证实了我的想法：（上面一条是正确的）

就是这一个细微的错误，让我意识到以后写正则表达式一定要小心小心再小心！最好直接复制，再写规则
（因为我有一个习惯，即使是一样的内容也尽量自己敲一遍，复制的话虽然速度快，但很多细节是注意不到的）
更改之后，代码就成功跑出来了

点开xls文档一看，概况那里有一个很难看的空格
这不用想了，肯定是替换那里没处理好，我马上就去检查了，果然

bd = re.sub('<br(\s+)?/>'," ", bd)					#这是原来的错误代码

bd = re.sub('<br(\s+)?/>(\s+)?'," ", bd)			#这样就没有问题了

之后就成功运行啦！撒花~~~

第一次写文章
第一次写爬虫
如有表达错误
欢迎指出

送上我很喜欢的一句话——
永远不要停下前进的脚步
共勉