Python爬虫入门教程 25-100 知乎文章图片爬取器之一

最新推荐文章于 2021-08-23 11:56:05 发布

梦想橡皮擦

最新推荐文章于 2021-08-23 11:56:05 发布

阅读量2.2w

点赞数 7

CC 4.0 BY-SA版权

分类专栏：爬虫100例教程文章标签：知乎爬虫 python3爬虫知乎图片

梦想橡皮擦-独家版权，禁止转载

本文链接：https://blog.youkuaiyun.com/hihell/article/details/84229219

爬虫100例教程专栏收录该内容

118 篇文章 ¥99.90 ¥299.90

订阅专栏

本文介绍如何使用Python3爬取知乎文章的图片。首先分析爬取目标和接口，接着选择使用requests和mongodb库。通过解码URL获取参数含义，观察下拉加载的偏移量变化。简化后的爬取地址主要包含关键信息。代码实现简洁，目前限制为固定文章，未来将增加用户输入爬取地址、自动获取答案总数和图片下载等功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 知乎文章图片爬取器之一写在前面

今天开始尝试爬取一下知乎，看一下这个网站都有什么好玩的内容可以爬取到，可能断断续续会写几篇文章，今天首先爬取最简单的，单一文章的所有回答，爬取这个没有什么难度。

找到我们要爬取的页面，我随便选了一个

https://www.zhihu.com/question/292393947

在这里插入图片描述

1084个回答，数据量可以说非常小了，就爬取它吧。

2. 知乎文章图片爬取器之一选取操作库和爬取地址

爬取使用requests 存储使用 mongodb 就可以了

爬取地址经过分析之后，找到了一个可以返回json的数据接口

在这里插入图片描述

提取链接，看一下各参数的意思，方便我们程序模拟

https://www.zhihu.com/api/v4/questions/292393947/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Crewa

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

梦想橡皮擦

关注关注

7
点赞
踩
6

收藏

觉得还不错? 一键收藏
6
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Python爬虫入门教程 26-100 知乎文章图片爬取器之二

梦想橡皮擦，专栏100例写作模式先行者，现象级专栏《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者

11-20

2万+

昨天写了知乎文章图片爬取器的一部分代码，针对知乎问题的答案json进行了数据抓取，博客中出现了部分写死的内容，今天把那部分信息调整完毕，并且将图片下载完善到代码中去。首先，需要获取任意知乎的问题，只需要你输入问题的ID，就可以获取相关的页面信息，比如最重要的合计有多少人回答问题。问题ID为如下标红数字 https://www.zhihu.com/question/&lt;font color=red&gt;29024583&lt;/font&am

Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy

12-19

2万+

爬前叨叨全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。你第一步找一个爬取种子，算作爬虫入口 https://www.zhihu.com/people/zhang-jia-we...

6 条评论您还未登录，请先登录后发表或查看评论

!python爬虫新手项目爬取知乎图片！非常简单看了就会不会你打我！

seaweedgiggle的博客

04-17

1093

爬虫的三个步骤：找到你想爬取的元素的位置可以用Chrome的检查元素来实现例如一个知乎帖子的图片，可以看到图片地址是在figure节点下的img节点中的data-original属性中构建正则表达式，将这个地址选择出来保存到本地路径中 import requests from bs4 import BeautifulSoup from requests.exceptions impo...

python爬虫教程知乎-在知乎上学Python爬虫

weixin_39949954的博客

11-11

401

有很多人正在入门Python爬虫，学习Python爬虫。在这个过程中，会遇到很多难题，许多小伙伴都会去寻找答案，但是因为答案的纷繁复杂和种类多样，往往要花上好些时间。而码不理经常会在知乎上寻找学习问题的答案，里面的解答也会对自己起到很大的帮助。所以码不理决定通过整理知乎上关于Python爬虫的精彩回答文章和教程，制作一篇关于Python爬虫的索引，包括：入门指南 - 教程资源 - 框架工具 - 爬...

Python 爬虫如何入门学习？

weixin_30781631的博客

07-03

393

“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。因为学习A的经验可以帮助你学习B。因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你...

新手爬虫教程：Python爬取知乎文章中的图片

weixin_33757911的博客

01-17

398

前言知乎，与世界分享你刚编好的故事.......今天咱们就爬取一下知乎文章上面的图片，突然发现知乎上面的小姐姐图片还是挺好看的基本环境配置版本：Python3系统：Windows相关模块：requests储存：MongoDB本人对于Python学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习Python。欢迎各位到来Python学习群：960410445一起讨论视频分享学习。...

用python爬虫抓取知乎图片

安地Andy的博客

09-28

2747

学习python挺好玩的，可以做一些好玩的事情。这个答案分享了1000+图片，也是蛮拼，网页打开都卡死，正好做示范抓取图片使用。 import urllib.request as request import urllib.parse as parse import string import re import os import urllib.error as error de

python爬虫菜鸟教程-python爬虫项目（新手教程）之知乎（requests方式）

q6q6q的专栏

10-28

1901

-前言之前一直用scrapy与urllib姿势爬取数据，最近使用requests感觉还不错，这次希望通过对知乎数据的爬取为各位爬虫爱好者和初学者更好的了解爬虫制作的准备过程以及requests请求方式的操作和相关问题。当然这是一个简单的爬虫项目，我会用重点介绍爬虫从开始制作的准备过程，目的是为了让和我一样自学的爬虫爱好者和初学者更多的了解爬虫工作。一、观察目标网页模板和策略很多人都忽略这一步，其...

本项目包含Python基础- Python爬虫 - Scrapy框架 - Flask教程 - Django教程 - 分布式爬虫

01-31

爬虫基本原理 - 知乎_python_python教程_

09-30

Python爬虫是一种自动化技术，用于从互联网上收集和处理大量数据。它是通过模拟浏览器的行为，发送HTTP请求到服务器并接收响应来实现的。Python因其丰富的库支持和简洁的语法，成为了编写爬虫的首选语言。在Python...

python抓取知乎美女主题图片爬虫（非scrapy）

06-18

因为最近自己想做点图像识别的东西，苦于没有资源，谢了一个爬取知乎美女图片的爬虫，因为量不是特别大，没有用scrapy来做，这个效果一样，时间稍长一点，大概2,3个小时吧，需要的可以拿走

Python爬取知乎图片代码实现解析

09-18

主要介绍了Python爬取知乎图片代码实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

python爬虫知乎图片_python 爬取知乎图片

weixin_39637203的博客

11-28

736

先上完整代码1 importrequests2 importtime3 importdatetime4 importos5 importjson6 importuuid7 from pyquery importPyQuery as pq89 #地址 https://www.zhihu.com/question/3424351310 defstart(offset, sort):11 url...

python爬取知乎某话题下图片

susezj

02-12

482

新手搞这个真是费精力。完整代码如下： import requests import re import time import os def getHTMltext(url_, header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1;' 'Win64; x64) AppleWebKit/537.36 (KHTML, like'...

python爬取知乎某个问题下所有图片

kan_hui的博客

09-11

1385

【python爬虫自学笔记】-----爬取知乎图片并保存在本地

菜菜鸟的博客

08-04

2083

from urllib import request from bs4 import BeautifulSoup import re import time url = 'https://zhuanlan.zhihu.com/p/41284138' html = request.urlopen(url).read().decode('utf-8') soup = BeautifulSoup(h...

python爬虫实战（1）——爬取知乎热门回答图片

皮小孩的博客

12-10

3580

文章目录一、前期准备1.查看网页源代码2.看图片在什么位置二、python代码实现1.解析网页2.获取问题标题3.获取回答者信息4.图片保存到本地5.完整代码三、最终结果一、前期准备 1.查看网页源代码打开问题链接平常人可以漂亮到什么程度按F12打开开发者工具。 2.看图片在什么位置用箭头指向其中一张图片，查看图片位置。可以观察到每张图片都在一个figure里面。里面有img标签，有图片链接地址，我们可以全部提取出来，并保存在本地。二、python代码实现 1.解析网页 def get_s

python爬取图片_用Python爬取知乎妹子图片

weixin_39951181的博客

11-27

212

用Python爬取知乎妹子图片这次呢，笔者给大家分享的是爬取知乎的妹子图，嗯，你懂的。话不多说，直接看战果。嗯，还是很不错的，值得我们去爬取。下面说一下整个过程的实现。页面分析本次爬取的是知乎话题下所有回答的所有图片，如下我们可以看到这个话题有811个回答，所以呢，爬取的图片也是很多的，共爬取了1996张图片。我们知道我们要爬取的是图片，然后图片呢是嵌套在内容当中的，所以我们只要能找到怎么获取到内...

Python自动爬取知乎图片

qq_46334886的博客

08-23

423

Python自动爬取知乎图片一级目录二级目录一级目录一级目录一级目录二级目录一级目录一级目录

Python爬虫实战教程：知乎与v2ex数据抓取

Python是一种广泛使用的高级编程语言，其简洁的语法和强大的库支持使得Python非常适合初学者入门编程。本项目使用Python开发爬虫，故学习Python基础成为前提条件。 #### Python环境配置 - **安装Python 2.7**：由于...