python3.5爬取电影网站电影下载链接

最新推荐文章于 2021-11-21 22:48:14 发布

原创最新推荐文章于 2021-11-21 22:48:14 发布 · 2.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

Spider 同时被 2 个专栏收录

16 篇文章

订阅专栏

Python爬虫专栏

15 篇文章

订阅专栏

本文介绍了一个简单的Python爬虫项目，利用requests和正则表达式re模块从指定网站抓取电影下载链接，并将结果保存到本地文件中。开发环境为Python3.5，使用VsCode作为开发工具。

部署运行你感兴趣的模型镜像

本文使用简单的面向过程的编程思想，更容易理解。

说明：

本文使用了简单的模块：requests和re模块，当然也可以使用urlib模块。

开发环境是：Python3.5

开发工具：VsCode

代码如下：

import requests
import re 

#循环制造网页
for page in range(1,2):  #这里默认爬取了一页，爬取多页修改此处即可
    url='http://www.ygdy8.net/html/gndy/oumei/list_7_'+str(page)+'.html'
    html=requests.get(url)     #请求网页
    html.encoding='gb2312'      #修改编码格式，根据网页上的要求修改
    dyData=re.findall('<a href="(.*?)" class=',html.text)  #使用re表达式获取网页代码

    for m in dyData:
        xqUrl='http://www.ygdy8.net'+m
        #获取网页源代码
        html2=requests.get(xqUrl)
        html2.encoding='gb2312'
        try:
            dyLink=re.findall('<a href="(.*?)">.*?</a></td>',html2.text)[0]
            print(dyLink)
        except:
            print('没有匹配到信息')

        with open('X:\\Users\\zhaomeng\\Desktop\\1234\\111.txt','a+')as ff:  #写入本地文件夹
            ff.write(dyLink+'\n')

vscode结果如下图所示：