代爬取某一主题的知乎问题及其回答数据

已于 2023-05-04 22:04:16 修改
阅读量670 收藏 2
点赞数 2
分类专栏： 爬虫分析 文章标签： 爬虫
于 2023-04-25 09:21:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hacker_zrq/article/details/130356989
版权

一、例如爬取下列页面的数据

例如采集主题为： 【宝马 冰淇淋 】的问题 

 url为：https://www.zhihu.com/question/{问题号}类似的

 二、爬取问题下的回答数据

各个问题下的回答如下

Python爬虫教程：如何爬取知乎上的问题、回答、评论等内容
2201_76125261的博客
03-24 1321
在本文中，我们详细介绍了如何编写一个Python爬虫，抓取知乎上的问题、回答和评论数据，并存储到MySQL数据库中。我们还介绍了如何应对知乎的反爬虫机制，如何使用代理IP和Selenium来避免被封禁。爬虫是一个强大的数据收集工具，可以帮助我们获取互联网上大量的结构化数据。希望通过这篇教程，你能够掌握Python爬虫的基本技巧，并能根据实际需求进行爬虫开发。
python爬虫项目（十一）：爬取知乎问题及答案数据，进行用户兴趣偏好分析
sybh的博客
10-01 1461
爬取知乎上的某个问题及其答案数据。基于答案内容和用户信息分析用户的兴趣偏好。进行数据可视化，展示用户对特定话题的兴趣和趋势。爬取知乎数据：使用Selenium爬取知乎的答案和用户信息。数据预处理：对答案进行中文分词和清洗，为后续分析做准备。兴趣偏好分析：使用TF-IDF或LDA模型进行主题分析，提取用户在讨论中的兴趣关键词。情感分析：使用SnowNLP对答案进行情感分类，了解用户对问题的态度。数据可视化：通过柱状图、词云等方式展示用户的兴趣偏好和情感分布。
python爬虫入门（2）爬取知乎某个热门主题
weixin_39694445的博客
07-27 2750
转载请注明链接 入门1如果看过，现在就可以进行简单的实战测试了，接下来要做的是： 选取知乎的某个热门主题：https://www.zhihu.com/topic/19606591/hot，这是个恐怖片主题，大半夜的小心查看。 取出该主题下所有帖子里面提到的片名，所有的片名大部分都是《》包括的，就以此匹配出片名，去重并写入文件。 匹配需要用到正则表达式，一个详细的教程点击下面：...
随笔：使用Python爬取知乎上相关问题的所有回答
weixin_43303286的博客
10-24 8403
项目中数据分析的需要自己从知乎某个专门的问题上爬数据，但众所周知，知乎的问题的显示方式有点胃疼（指滑动后下翻加载更多回答，还经常卡住），翻了翻网上的教程发现有的要么就是很老了要么就是付费的，本着开源共赢的原则，写一篇记录一下自己踩过的坑，也给后面人警醒。看之前参考了这篇文章。
Scrapy Python爬虫实战：抓取知乎问题下所有回答！
qq_36807888的博客
09-28 1816
今天趁摸鱼的时候玩了会知乎，突然看到一个非常有意思的话题 单身狗不知道还能干什么，所以特地把这些数据都抓下来，看看不除了第二杯半价还能干什么？ 创建scrapy项目 前面教程概念讲的我嘴都麻了，估计大家看得也快烦死了， 直接进入主题吧! 项目创建完成结构如下： 需求分析 我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页 评论点赞数和评论时间并将其保存做可视化分析 网页分析
Python_scrapy(知乎问答爬取
m0_65592409的博客
07-02 2053
***本文章为个人记录***目录一、模拟登录知乎二、提取知乎question页面url三、提取question页面具体数据四、提取answer页面具体数据五、items.py的编写六、pipelines的编写七、Mysql数据库存储结果(第一次运行程序)先模拟登录->保存cookie (其次运行程序)->运行已保存的cookie 模拟登录时没有做验证码处理，所以延时10秒手动通过验证码进行登录。登录后再将知乎账号数据cookie保存起来，为下次爬取浏览器直接使用(下次使用时不需要再进行模拟登录
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
python03011的博客
06-20 4338
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
知乎问题回答信息爬取.zip
08-22
在本项目中，"知乎问题回答信息爬取.zip" 是一个包含了使用Python编写的爬虫项目的压缩包。这个项目的主要目标是从知乎网站上抓取问题及其相关回答的信息，以供数据分析或研究使用。以下是该项目涉及的一些核心知识...
python对知乎上的问题回答的爬取（可用）
06-18
本项目专注于使用Python爬取知乎网站上的问题及其答案，为用户提供了一个实用的工具。以下将详细介绍如何实现这一功能，并涉及相关的Python知识和技术点。 1. **Python基础知识**：Python是一种高级编程语言，以其...
利用Python和百度API爬取并颜值评分知乎小姐姐图片
知乎是一个中文问答网站，用户可以在上面提问或回答问题。爬虫程序要从知乎获取小姐姐的图片，就需要了解知乎网站的页面结构或者是否有提供公开的API接口。在获取图片时，可能涉及对网页的分析，找到存放图片的URL，...
使用lxml爬取知乎问题数据 题目：使用selenium和lxml爬取知乎一个热门问题的标题和回答数，并将结果保存到zhihu.txt文件中。 https://www.zhihu.com/knowledge-plan/hot-question/hot/0/hour
最新发布
11-01
以下是使用这两个库爬取知乎热门问题及其信息的基本步骤： 1. **安装依赖**: ```bash pip install requests selenium lxml beautifulsoup4 ``` 2. **初始化**: ```python from bs4 import BeautifulSoup ...
【2023最新爬虫】用python爬取知乎任意问题下的全部回答
马哥的专栏
08-20 4591
用Python爬取知乎任意问题的所有回答，含：问题id,页码,答主昵称,答主性别,答主粉丝数,答主主页,答主签名,回答id,回答时间,评论数,点赞数,喜欢数,回答内容。
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 1633
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
Python爬虫实战一：抓取知乎问题下所有回答
TEDxPY
09-15 7117
代码是最近(2021.09)新写的~ 需求 任务需求：抓取知乎问题下所有回答，包括其作者、作者粉丝数、回答内容、时间、回答的评论数、回答赞同数以及该回答的链接。 分析 以最近比较引人关注的"大厂间要相互解除屏蔽链接问题"为例，想要拿到回答的相关数据，可以在Chrome浏览器下按F12来分析请求；但借助Charles抓包工具可以更直观地获取相关字段： 注意我标注的 Query String 参数中 limit 5 表示每次请求返回5条回答，经测试最多可以改成20；offset 表示从第几个回答开始； 而返回
python抓取知乎问题的所有回答
qq_37246424的博客
06-19 821
知乎回答需要用户下拉浏览器才能进行加载，使用webdriver进行创建浏览器实例进行模拟用户下拉；使用前需安装一些库和模块，包括requests、BeautifulSoup、webdriver。将抓取的回答存入D:\\cc\\1.txt文件中，下面url可以自己切换。
我用python爬取了知乎Top沙雕问题排行榜
人生苦短， 还不用Python？
11-23 448
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者： 数据森麟 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 这两天偶然上网的时候，被知乎上一个名为“玉皇大帝...
python爬虫项目（一百二十六）：知乎问答网站问题及回答抓取分析
sybh的博客
10-08 1319
知乎作为一个知名的问答平台，聚集了大量高质量的问题与回答，成为用户获取信息和知识的重要途径。对知乎问答数据进行抓取和分析，不仅可以帮助我们了解用户关注的话题，还能为内容创作、市场调研和机器学习模型训练提供丰富的数据支持。本文将详细介绍如何从知乎问答网站抓取问题及其对应的回答，并对这些数据进行分析。我们将使用最新的技术栈，重点介绍爬虫部分，提供完整的代码示例。整个流程包括数据抓取、数据清洗、数据分析以及可视化展示。目录一、前言二、知乎问答数据抓取的背景2.1 数据来源2.2 抓取数据的挑战。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ad_m1n

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值