request+正则表达式,爬取豆瓣电影top100

使用requests库结合正则表达式爬取豆瓣电影Top100信息,包括电影排名、名称、图片链接、演员、上映时间和评分,将数据保存到maoyan.txt文件中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import requests,re,json
from requests.exceptions import RequestException
from multiprocessing import Pool


def get_page_source(url):


    headers={ "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.181 Safari/537.36" }

 


    try:
        response=requests.get(url,headers=headers)

        if  response.status_code is 200:
            return response.text

    except RequestException:
        return None


def pares_page_source(html):
    pattern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?<a.*?title="(.*?)".*?<img.*?-src="(.*?)".*?="star">\n(.*?)\n.*?'
                       'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(\d+).*?</dd>',re.S)

    result=re.findall(pattern,html)
    for i in result:
        yield{
            "index":i[0],
            "title": i[1],
            "image":i[2],
            "actor":i[3].strip(),
            "time":i[4][5:],
            "score":i[5]+i[6]
        }

 

def write_to_txt(content):
    with open("maoyan.txt","a",encoding="utf-8")as f:
        f.write(json.dumps(content,ensure_ascii=False)+"\n")


def main(i):
    url="http://www.maoyan.com/board/4?offset="+str(i)
    html=get_page_source(url)
    #print(type(html))
    for i in pares_page_source(html):
        write_to_txt(i)
        print(i)


if __name__ == '__main__':
    for i in range(10):
        main(i*10)
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值