爬虫作业6 ——爬取百度风景图片

本文介绍了一次使用Python爬虫技术从百度网站抓取风景图片的实战过程,详细阐述了爬虫代码的实现步骤和最终的爬取结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

完整代码如下:

import time
from urllib.request import urlretrieve
import requests
import json

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.55 Safari/537.36 Edg/96.0.1054.34'}
def get_picture(path):
    m=0
    for i in range(1,3):#此处只爬取了60张,若想获取多张可修改此处,循环为30
        urls = ['https://image.baidu.com/search/albumsdata?pn='+str(i*30)+'&rn=30&tn=albumsdetail&word=%E9%A3%8E%E6%99%AF&album_tab=%E9%A3%8E%E6%99%AF%E6%97%85%E8%A1%8C&album_id=616&ic=0&curPageNum='+str(i)]
        #https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10352069024892154480&ipn=rj&ct=201326592&is=&fp=result&fr=&word=%E9%A3%8E%E6%99%AF&queryWord=%E9%A3%8E%E6%99%AF&cl=2&lm=-1&ie=utf-8&oe
Python爬虫基础案例通常从简单的网页抓开始,比如猫眼电影的数据。这里以`requests`库获网页内容,然后用`BeautifulSoup`解析HTML,提所需信息,并通过`pandas`将数据保存到Excel文件为例: 首先,你需要安装必要的库: ```bash pip install requests beautifulsoup4 pandas openpyxl ``` 下面是一个基本的Python爬虫脚本示例,假设我们要电影名称、评分和主演信息: ```python import requests from bs4 import BeautifulSoup import pandas as pd # URL url = "https://maoyan.com/board/4" response = requests.get(url) # 解析HTML soup = BeautifulSoup(response.text, 'lxml') # 查找需要的数据元素,这里假设电影列表在class为'movie-list' movies_data = soup.find_all(class_='movie-list') # 创建空列表存储数据 data_list = [] # 遍历每部电影 for movie in movies_data: title = movie.find('a', class_='title').text rating = movie.find('i', class_='rating_num')['title'] stars = ', '.join(movie.find_all('span', class_='name')) # 将数据添加到列表 data_list.append([title, rating, stars]) # 将数据转换为DataFrame df_movies = pd.DataFrame(data_list, columns=['电影名称', '评分', '主演']) # 保存到Excel文件 filename = '猫眼电影数据.xlsx' df_movies.to_excel(filename, index=False) ``` 这个例子中,爬虫会定期访问指定的猫眼电影页面,提每个电影的基本信息,然后将其保存到一个名为`猫眼电影数据.xlsx`的Excel文件中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值