python简单爬虫项目：爬取360摄影图片及其信息

最新推荐文章于 2025-06-01 14:45:05 发布
最新推荐文章于 2025-06-01 14:45:05 发布
阅读量7.1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： python python那些事 文章标签： Python 爬虫 数据采集 图片采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37462361/article/details/87860008
该项目使用Python的Scrapy框架和pymongo库，从https://images.so.com/爬取360摄影图片及相关信息，并存储到MongoDB数据库中。涉及的库还包括sys、urllib和json。操作步骤包括创建Scrapy项目，定义start_requests和parse方法解析数据，关闭robots协议，设置MongoDB存储路径，以及自定义ImagePipeline和MongoPipeline来处理图片和数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

image

  • 项目URL：https://images.so.com/
  • 项目简介：爬取360摄影图片及信息存储到数据库mongodb中
  • 项目所需库/框架：
  • scrapy框架
  • pymongo库
  • sys库
  • urllib库
  • json库
  • 项目实操：

  1. 使用cmd创建项目和爬虫:

     scrapy startproject images360
 scrapy genspider images images.so.com

  2. 修改images.py:

    • 创建start_requests函数，拼接url，设置为
了解本专栏 订阅专栏 解锁全文 超级会员免费看
爬虫基础篇之Scrapy抓取京东
onejane
04-22 5534
虚拟环境 同一台服务器上不同的项目可能依赖的包不同版本，新版本默认覆盖旧版本，可能导致其他项目无法运行，通过虚拟环境，完全隔离各个项目各个版本的依赖包，实现运行环境互不影响。 virtualenv pip install virtualenv 安装virtualenv python -m pip install --upgrade pip 升级pip pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio
爬虫框架Scrapy（13）保存数据到数据库
Python达人
04-28 2038
文章目录保存数据到数据库（一）数据保存至 MySQL 数据库1. 安装 pymysql2. 创建数据库与表3. 实现 MySQLPipeline（二）数据保存至 MongoDB 数据库1. 安装 pymongo2. 实现 MongoDBPipeline（三）数据保存至 Redis 数据库1. 安装 redis2. 实现 RedisPipeline（四）项目实例——爬取360图片保存到数据库1. 将数据保存到 MySQL 数据库2. 将数据保存到 MongoDB 数据库3. 运行爬虫 保存数据到数据库 在之前
python爬取360搜索引擎图片，用于物体识别和样本训练
03-01
python爬取360搜索引擎图片，用于物体识别和样本训练 自定义函数def getBaiduImag(category,length,path)，用于采集360图片，三个参数分别为搜索的“关键词”category，采集的图片数量length，保存图片的路径path。 自动检索当前下载目录下已有的图片数量，在此基础上再次采集length张图片。 需要导入的库文件有import requests、import json、import urllib、import os
python爬虫 爬取360图片(非结构化数据)
yutaixin的博客
01-01 1712
爬虫思路：先拼接json数据包的url，再从中提取图片链接 域名：image.so.com 抓包 360图片是动态加载的数据 点击图片分类中的清新美女 --> ctrl + shift + i --> Network --> xhr -->向下滑动鼠标加载图片抓包 找到图片所在包，查看queryStringParameters ch:beauty t1:595 ...
Python 爬虫实战：爬取 360 搜索结果
最新发布
yansideyucsdn的博客
06-01 1711
爬取 360 搜索结果，对比不同搜索引擎结果的差异以及应对反爬虫机制的方法。通过本文，读者将能够掌握如何利用 Python 爬虫技术获取搜索引擎页面的数据，从而为后续的网络数据分析、SEO 优化、市场竞争分析等任务提供数据支持。
爬取360摄影美图
weixin_33955681的博客
03-08 212
爬取360摄影美图 新建项目 scrapy startproject images360 创建一个Spider scrapy genspider image image.so.com 构造请求： 爬取50页，每页30张，先在settings.py里定义一个MAX_PAGE，添加定义 MAX_PAGE = 50 定义start_requests de...
爬取360图片
码农ZZK的博客
05-13 1649
这次我们爬取的网址是 http://image.so.com/z?ch=photography 随着滚轮下滑，图片一个个加载出来，所以我们推测这是Ajax形式 我们在开发工具里选中XHR 观察请求 可知这个url的sn参数是以30倍数增长，我们可以利用这个特性进行url的构造 其次我们图片的具体信息都在list里面 下面我们先新建scrapy项目 在你想创建项目的路径里打开powershel...
用python试着简单爬取下360图片的图片
awyo96572的博客
07-08 514
用python试着简单爬取下360图片的图片 用python试着简单爬取下360图片的图片 import re import requests #抓取源代码 fs = open('source1.txt','wb') url = "htt...
编写python爬虫 获取中华英才网全网工资数据
Qton_优快云的博客
05-07 4610
做数据分析 数据挖掘，第一步是获取数据，在这里，我们要分析现今全国各地各个职业的工资情况。 我们选择较为权威的‘中华英才网’，编写python爬虫获取该网站上的各个招聘信息说给出的工资，再取其行业工资的平均值，即为该行业目前的大概工资。 1 以深圳为例 如‘数据挖掘’这个职业在深圳查找的情况如上图。代码里我们去掉‘面议‘，工资3000-6000这样的我们取其中值4500写ex
爬虫框架Scrapy（10）下载文件与图片
Python达人
03-27 1467
文章目录下载文件与图片（一）FilesPipeline 和 ImagesPipeline1. FilesPipeline 使用说明2. ImagesPipeline 使用说明（二）项目实例：下载 matplotlib 例子源码文件1. 页面分析2. 编码实现（1）创建项目文件（2）启用 FilesPipeline（3）Item 中封装数据（4）编写 spider 内容（三）项目实例：下载360图片1. 页面分析2. 编码实现（1）新建项目（2）构造请求（3）提取信息（4）存储数据 下载文件与图片 在之前的章
Scrapy抓取360网站图片
WWW54111392的博客
07-18 213
项目名称：抓取360网站图片 目标url：http://image.so.com 项目描述：利用Scrapy的ImagePipeline抓取360网站的图片 要利用Scrapy抓取图片，第一步还是先定义item 1 # -*-coding: utf-8 -*- 2 import scrapy 3 4 class ImageItem(scrapy.Item): 5 ...
爬取并下载用360搜索下雪的图片
12-21
''' https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=9cfc409470d5bd63c8b81518528743d7&q=下雪 随便选一个标题查看源代码搜索，没有搜索到，说明这些图片是异步请求的 开发者模式查看异步请求xhk,如上图 1.首先request爬去这个异步请求 2.提取响应的数据转为python数据 3.取出list 4.遍历取出每一个的图片链接，在请求链接写入文件 ''' import requests import json import os ''' 只爬一页 ''' file_d
Python爬虫之scrapy框架360全网图片爬取
weixin_44356081的博客
10-24 2122
Python爬虫之scrapy框架360全网图片爬取 在这里先祝贺大家程序员节快乐，在此我也有一个好消息送给大家，本人已开通了微信公众号，我会把资源放在公众号上，还请大家小手动一动，关注过微信公众号，回复1024即可获得python的零基础教学哦。 阅读目录Python爬虫之scrapy框架360全网图片爬取前言一、分析网站？二、使用步骤1.引入库2.读入数据总结 前言 我们先进入今天的主题，我们都知道现在python爬虫的手段越来越多，比如通用爬虫， 模拟登陆，js逆向，app爬虫，自动化爬虫等。
简易爬虫--360图片爬取
Da.的博客
06-02 4272
爬取网站http://image.so.com/ 360的图片搜索 先随便输入搜索的图片内容进入网页，发现他的加载是拖动加载图片，浏览器按F12打开调试模式，选择网络模式抓包 抓到后点击查看，先查看请求路径与请求方式 然后翻到最后看请求参数，get请求也可以直接在url地址上查看请求参数 最后分析返回的json参数，拿到所需要的资源 也可以通过https://www.be...
python抓取360图片之马自达
zhaipupu的专栏
12-25 299
#尝试抓取数量较多时，会提示403 forbidden，一次抓取20张图片就不会有问题 url = 'https://image.so.com/j?q=%E9%A9%AC%E8%87%AA%E8%BE%BE&pd=1&pn=19&correct=%E9%A9%AC%E8%87%AA%E8%BE%BE&adstar=0&tab=all&sid=6ab4e6d3289b0d0be6bb0e4219031698&ras=6&cn=0&gn=.
python3写360图库爬虫
Timt_DB的博客
07-13 1212
前言 要求：进行搜索并且保存360图库图片 图库地址：360图库 基本思路 简单分析以后，发现360图库使用动态渲染，并且采用下拉反式加载图片，那么解决问题就出现3种常用方法，操作js、模拟浏览器、Ajax。如果使用模拟的反式代码量较高，速度慢（当然也更加稳定），但是经过简单分析以后发现图片是使用ajax加载的。那么就直接使用ajax。 分析该请求 查看请求的response 发现请求的结果是...
Python学习之Scrapy爬取360图片，数据存储到MongoDB
Python学习之旅
04-07 762
spider最简单 # -*- coding: utf-8 -*- import scrapy,json from urllib import parse from Image360.items import Image360Item class ImagezzSpider(scrapy.Spider): name = 'Imagezz' allowed_domains = ['...
Scrapy爬取360图片
码农ZZK的博客
05-13 666
这里我们爬取的是360图片 链接为"http://image.so.com/z?ch=photography" 随着页面下滑，他会自动加载图片，我们能推断出这使用的是Ajax加载方式 我们打开开发工具，选择XHR 我们观察可以发现sn这里是以30的倍数增长 我们可以使用一个for循环来进行url的更新 我们所要爬取的图片信息都在这list里面 首先我们创建一个scrapy项目,在你想创建项...
Python网络爬虫项目：爬取并展示Science News
根据给定文件信息，我们可以提炼出以下知识点： ### 网络爬虫简介 网络爬虫（Web Crawler），也常被称为网络蜘蛛（Spider），是一种自动化...这不仅可以帮助开发者建立爬虫项目，还能够为处理和展示数据提供指导。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小胡的第二大脑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值