爬取豆瓣电影top250并存储到mysql数据库

本文介绍了一个使用Python实现的豆瓣电影Top250数据爬取项目。通过requests和lxml库获取网页信息,并利用正则表达式解析数据,最后将抓取到的数据如电影名称、导演、演员等信息存入MySQL数据库。
import requests
from lxml import etree
import re
import pymysql
import time

conn= pymysql.connect(host='localhost',user='root',passwd='root',db='mydb',port=3306,charset='utf8')
cursor=conn.cursor()

headers={    
    #'User-Agent':'Nokia6600/1.0 (3.42.1) SymbianOS/7.0s Series60/2.0 Profile/MIDP-2.0 Configuration/CLDC-1.0'
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}

def get_movie_url(url):
    html=requests.get(url,headers=headers)
    selector=etree.HTML(html.text)
    movie_hrefs=selector.xpath('//div[@class="hd"]/a/@href')
    for movie_href in movie_hrefs:
        get_movie_info(movie_href)
        time.sleep(2)

def get_movie_info(url):
    html=requests.get(url,headers=headers)
    print("开始")
    selector=etree.HTML(html.text)
    try:
        name=selector.xpath('//*[@id="content"]/h1/span[1]/text()')[0]    
        director=selector.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')[0]
        actors=selector.xpath('//*[@id="info"]/span[3]/span[2]')[0]
        actor=actors.xpath('string(.)')
        #style=selector.xpath('//*[@id="info"]/span[5]/text()')[0]
        style=re.findall('<span property="v:genre">(.*?)</span>',html.text,re.S)

        #爬取制片国家不成功
        #country=re.findall('<span class="pl">制片国家/地区:</span>(.*?)<b',selector.text,re.S)[0]
        #country=re.findall('<span property="v:genre">.*?地区:</span>(.*?)<b',selector.text,re.S)[0]
        #countrys=selector.xpath('//*[@id="info"]/br[4]')[0]
        #country=selector.xpath('//*[@id="info"]/text()[2]')[0]
        
        release_time=re.findall('上映日期:</span>.*?>(.*?)</span>',html.text,re.S)[0]
        time=re.findall('片长:</span>.*?>(.*?)</span>',html.text,re.S)[0]
        score=selector.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/strong/text()')[0]
        cursor.execute("insert into doubanmovie (name,director,actor,style,release_time,time,score)values(%s,%s,%s,%s,%s,%s,%s)",(str(name),str(director),str(actor),str(style),str(release_time),str(time),str(score)))
        
    except IndexError:
        pass

if __name__=='__main__':
    urls=['https://movie.douban.com/top250?start={}'.format(str(i)) for i in range(0,25,25)]
    for url in urls:
        get_movie_url(url)
        time.sleep(2)
    conn.commit()
    print("结束")

转载于:https://www.cnblogs.com/lanbofei/p/8884953.html

### 实现Python爬虫抓取豆瓣电影Top250存入MySQL 为了完成这一目标,可以采用`requests`库来发起HTTP请求获取网页内容,使用`BeautifulSoup`解析HTML文档提取所需的信息。最后借助`pymysql`模块将收集到的数据插入至MySQL数据库。 #### 准备工作 安装必要的第三方库: ```bash pip install requests beautifulsoup4 pymysql ``` #### 编写爬虫脚本 创建名为`douban_spider.py`的文件,在其中定义如下所示的主要逻辑结构[^1]。 ```python import requests from bs4 import BeautifulSoup import pymysql.cursors def get_movie_list(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") movie_items = [] for item in soup.select('ol.grid_view li'): title = item.find("span", class_="title").get_text() rating_num = float(item.find("span", {"class": "rating_num"}).get_text()) try: quote = item.find("span", class_='inq').string.strip() except AttributeError: quote = None movie_info = {'title': title, 'rating_num': rating_num, 'quote': quote} movie_items.append(movie_info) return movie_items def save_to_db(movies_data): connection = pymysql.connect(host='localhost', user='root', password='', db='test') with connection.cursor() as cursor: sql = """INSERT INTO `movies_top250` (`title`, `rating_num`, `quote`) VALUES (%s, %s, %s)""" for movie in movies_data: cursor.execute(sql, ( movie['title'], movie['rating_num'], movie['quote'] )) connection.commit() if __name__ == '__main__': base_url = 'https://movie.douban.com/top250?start={}&filter=' all_movies = [] for i in range(0, 250, 25): url = base_url.format(i) current_page_movies = get_movie_list(url) all_movies.extend(current_page_movies) save_to_db(all_movies) ``` 这段代码实现了从指定URL下载页面源码,从中抽取每部电影的名字、评分以及简介(如果存在),最终批量提交给本地运行着的服务端口为默认值3306的MySQL实例中的表内[^2]。 请注意,实际部署前还需要确保已经建立了相应的数据库和表格用于接收这些记录;另外考虑到反爬机制的存在,建议适当调整访问频率以免触发封禁措施[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值