request+正则表达式,爬取豆瓣电影top100

使用requests库结合正则表达式爬取豆瓣电影Top100信息,包括电影排名、名称、图片链接、演员、上映时间和评分,将数据保存到maoyan.txt文件中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

import requests,re,json
from requests.exceptions import RequestException
from multiprocessing import Pool


def get_page_source(url):


    headers={ "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/65.0.3325.181 Safari/537.36" }

 


    try:
        response=requests.get(url,headers=headers)

        if  response.status_code is 200:
            return response.text

    except RequestException:
        return None


def pares_page_source(html):
    pattern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?<a.*?title="(.*?)".*?<img.*?-src="(.*?)".*?="star">\n(.*?)\n.*?'
                       'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(\d+).*?</dd>',re.S)

    result=re.findall(pattern,html)
    for i in result:
        yield{
            "index":i[0],
            "title": i[1],
            "image":i[2],
            "actor":i[3].strip(),
            "time":i[4][5:],
            "score":i[5]+i[6]
        }

 

def write_to_txt(content):
    with open("maoyan.txt","a",encoding="utf-8")as f:
        f.write(json.dumps(content,ensure_ascii=False)+"\n")


def main(i):
    url="http://www.maoyan.com/board/4?offset="+str(i)
    html=get_page_source(url)
    #print(type(html))
    for i in pares_page_source(html):
        write_to_txt(i)
        print(i)


if __name__ == '__main__':
    for i in range(10):
        main(i*10)
 

### Python 实现豆瓣电影爬虫及数据可视化分析项目 #### 1. 系统概述 基于Python的豆瓣电影爬虫及数据可视化分析系统是一个综合性的项目,它不仅涉及网络爬虫技术,还涵盖了数据分析、数据可视化以及推荐算法的设计。该系统通过爬取豆瓣网站上的电影评论和评分数据,经过清洗和处理后存储到数据库中,并利用Python的强大生态库(如`pandas`、`numpy`、`matplotlib`等)完成数据的统计分析与可视化展示[^1]。 以下是该项目的核心组成部分: --- #### 2. 技术栈 - **爬虫部分** 使用`BeautifulSoup`进行HTML页面解析,提取所需的信息;借助正则表达式模块`re`实现精确的文字匹配;通过`urllib.request`发送HTTP请求并获取网页内容。此外,还可以引入第三方库如`selenium`来应对动态加载的内容[^3]。 - **数据存储** 将抓取到的数据保存至SQLite或其他关系型数据库中以便后续查询操作。例如,在代码片段中可以看到如何连接SQLITE数据库实例化对象[^3]: ```python conn = sqlite3.connect("douban_movies.db") # 创建或打开数据库文件 cursor = conn.cursor() # 获取游标用于执行SQL语句 ``` - **数据分析与可视化** 利用Pandas读取数据库表单作为DataFrame结构便于进一步计算加工;Matplotlib/Echarts绘制柱状图折线图饼图等形式表现不同维度下的分布特征。下面给出一段简单的绘图例子说明: ```python import pandas as pd import matplotlib.pyplot as plt df = pd.read_sql_query("SELECT * FROM movie_reviews", con=conn) # 加载数据集 ratings_distribution = df['rating'].value_counts().sort_index() plt.bar(ratings_distribution.index, ratings_distribution.values) plt.xlabel('Rating') plt.ylabel('Count') plt.title('Distribution of Movie Ratings on Douban') plt.show() ``` --- #### 3. 推荐引擎集成 为了提升用户体验度量标准之一就是个性化服务功能——即根据用户的偏好预测可能感兴趣的影片列表呈现出来。这里采用了协同过滤方法论或者矩阵分解模型训练得到最终结果反馈给前端界面显示[^1]: ```python from sklearn.metrics.pairwise import cosine_similarity import numpy as np def compute_movie_recommendations(user_id): user_ratings_matrix = ... # 构建用户-物品交互稀疏矩阵 similarity_scores = cosine_similarity(user_ratings_matrix[user_id], user_ratings_matrix).flatten() top_n_indices = np.argsort(similarity_scores)[-5:] # 取相似度最高的五个电影ID recommended_movies = [...] # 查询对应名称返回集合形式输出 return recommended_movies ``` --- #### 4. 安全性和法律注意事项 需要注意的是,在实际部署过程中应当遵循目标站点的服务条款规定,合理控制访问频率以免触发反爬机制甚至封禁IP地址等问题发生。另外考虑到隐私保护原则,务必匿名化敏感字段后再对外发布研究成果[^2]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值