dygod

原创已于 2022-03-25 18:35:20 修改 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2022-03-25 13:55:18 首次发布

爬虫专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种使用Python爬虫技术抓取指定网站上的电影链接及详细信息的方法。通过发送HTTP请求并解析HTML页面，可以高效地获取到最新电影的数据，并将其保存为CSV文件。该过程涉及正则表达式、requests库以及csv模块的应用。

部署运行你感兴趣的模型镜像

import csv

import requests
import re

url =   'https://www.dytt89.com'

headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

resp = requests.get(headers = headers, url = url)
resp.encoding='gb2312'
# print(resp.text)
#
# with open('my.html',mode = 'w',encoding='utf-8') as f:
#     f.write(resp.text)

obj1 = re.compile(r'2022必看热片.*?<ul>(?P<ul>.*?)</ul>'
                 ,re.S)

obj2 = re.compile(r"<li><a href='(?P<h>.*?)'",re.S)

result1 = obj1.finditer(resp.text)

link_list= []

for i in result1:
    ul = i.group('ul')
    result2 = obj2.finditer(ul)
    for ii in result2:
        link = url + ii.group('h')
        link_list.append(link)

obj3 = re.compile(r'<div class="title_all"><h1>(?P<name>.*?)</h1></div>'
                  r'.*?'
                  r'<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href=".*?">(?P<mag>.*?)</a></td>'
                  ,re.S)

f = open('moviePara.csv',encoding='utf-8',newline='',mode='a+')
writer = csv.writer(f)

for i in link_list:
    res = requests.get(headers=headers, url=i)
    res.encoding = 'gb2312'
    result3 = obj3.finditer(res.text)

    for ii in result3:
        print(ii.group('name'), ii.group('mag'))
        dic = ii.groupdict()
        writer.writerow(dic.values())


resp.close()

您可能感兴趣的与本文相关的镜像