代爬取某一主题的知乎问题及其回答数据

原创 已于 2023-05-04 22:04:16 修改 · 691 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫

于 2023-04-25 09:21:34 首次发布
博客介绍了爬虫相关内容，包含爬取主题为【宝马 冰淇淋】的知乎页面数据，其url类似https://www.zhihu.com/question/{问题号}，还涉及爬取问题下的回答数据。

一、例如爬取下列页面的数据

例如采集主题为： 【宝马 冰淇淋 】的问题 

 url为：https://www.zhihu.com/question/{问题号}类似的

 二、爬取问题下的回答数据

各个问题下的回答如下

python爬虫项目（十一）：爬取知乎问题及答案数据，进行用户兴趣偏好分析
斌擎科技
10-01 1670
爬取知乎上的某个问题及其答案数据。基于答案内容和用户信息分析用户的兴趣偏好。进行数据可视化，展示用户对特定话题的兴趣和趋势。爬取知乎数据：使用Selenium爬取知乎的答案和用户信息。数据预处理：对答案进行中文分词和清洗，为后续分析做准备。兴趣偏好分析：使用TF-IDF或LDA模型进行主题分析，提取用户在讨论中的兴趣关键词。情感分析：使用SnowNLP对答案进行情感分类，了解用户对问题的态度。数据可视化：通过柱状图、词云等方式展示用户的兴趣偏好和情感分布。
python爬虫入门（2）爬取知乎某个热门主题
weixin_39694445的博客
07-27 2771
转载请注明链接 入门1如果看过，现在就可以进行简单的实战测试了，接下来要做的是： 选取知乎的某个热门主题：https://www.zhihu.com/topic/19606591/hot，这是个恐怖片主题，大半夜的小心查看。 取出该主题下所有帖子里面提到的片名，所有的片名大部分都是《》包括的，就以此匹配出片名，去重并写入文件。 匹配需要用到正则表达式，一个详细的教程点击下面：...
随笔：使用Python爬取知乎上相关问题的所有回答
weixin_43303286的博客
10-24 9558
项目中数据分析的需要自己从知乎某个专门的问题上爬数据，但众所周知，知乎的问题的显示方式有点胃疼（指滑动后下翻加载更多回答，还经常卡住），翻了翻网上的教程发现有的要么就是很老了要么就是付费的，本着开源共赢的原则，写一篇记录一下自己踩过的坑，也给后面人警醒。看之前参考了这篇文章。
【python爬虫实战】用 Python 爬取知乎热门话题及回答，分析舆论趋势
最新发布
2503_91057718的博客
10-11 1530
摘要：本文介绍了一个基于Python的知乎热门话题及回答爬取与分析项目。项目目标包括爬取知乎热门话题列表、获取高赞回答内容，并进行情感分析和关键词提取。技术栈涵盖requests、BeautifulSoup、pandas、snownlp等库。文章详细解析了知乎页面结构，提供了完整代码实现步骤，包括热门话题爬取、回答内容分析及可视化展示。通过情感倾向分布、词云图等方式直观呈现舆论趋势，并讨论了项目优化方向与合规性注意事项。该工具可用于舆情监控、市场调研等领域，帮助快速把握公众讨论焦点和情感倾向。
Scrapy Python爬虫实战：抓取知乎问题下所有回答！
qq_36807888的博客
09-28 1868
今天趁摸鱼的时候玩了会知乎，突然看到一个非常有意思的话题 单身狗不知道还能干什么，所以特地把这些数据都抓下来，看看不除了第二杯半价还能干什么？ 创建scrapy项目 前面教程概念讲的我嘴都麻了，估计大家看得也快烦死了， 直接进入主题吧! 项目创建完成结构如下： 需求分析 我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页 评论点赞数和评论时间并将其保存做可视化分析 网页分析
Python_scrapy(知乎问答爬取
m0_65592409的博客
07-02 2208
***本文章为个人记录***目录一、模拟登录知乎二、提取知乎question页面url三、提取question页面具体数据四、提取answer页面具体数据五、items.py的编写六、pipelines的编写七、Mysql数据库存储结果(第一次运行程序)先模拟登录->保存cookie (其次运行程序)->运行已保存的cookie 模拟登录时没有做验证码处理，所以延时10秒手动通过验证码进行登录。登录后再将知乎账号数据cookie保存起来，为下次爬取浏览器直接使用(下次使用时不需要再进行模拟登录
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
python03011的博客
06-20 4668
爬虫实战 | 手把手用Python教你采集&可视化知乎问题的回答（内附代码）
知乎问题回答信息爬取.zip
08-22
在本项目中，"知乎问题回答信息爬取.zip" 是一个包含了使用Python编写的爬虫项目的压缩包。这个项目的主要目标是从知乎网站上抓取问题及其相关回答的信息，以供数据分析或研究使用。以下是该项目涉及的一些核心知识...
python对知乎上的问题回答的爬取（可用）
06-18
本项目专注于使用Python爬取知乎网站上的问题及其答案，为用户提供了一个实用的工具。以下将详细介绍如何实现这一功能，并涉及相关的Python知识和技术点。 1. **Python基础知识**：Python是一种高级编程语言，以其...
知乎征婚问题数据爬取与分析项目_多线程爬虫技术实现知乎征婚问题回答内容抓取并存入MySQL数据库进行词云可视化分析_通过自动化采集知乎平台特定征婚话题下的用户回答数据并进行文本挖掘.zip
09-14
本项目便是一项针对知乎平台特定征婚话题下的用户回答数据的自动化采集、存储和分析的工作。 在项目实施过程中，首先运用多线程爬虫技术，能够高效地抓取知乎上有关征婚问题的回答内容。多线程爬虫技术能够同时开启...
利用Python和百度API爬取并颜值评分知乎小姐姐图片
知乎是一个中文问答网站，用户可以在上面提问或回答问题。爬虫程序要从知乎获取小姐姐的图片，就需要了解知乎网站的页面结构或者是否有提供公开的API接口。在获取图片时，可能涉及对网页的分析，找到存放图片的URL，...
【2023最新爬虫】用python爬取知乎任意问题下的全部回答
马哥的专栏
08-20 4725
用Python爬取知乎任意问题的所有回答，含：问题id,页码,答主昵称,答主性别,答主粉丝数,答主主页,答主签名,回答id,回答时间,评论数,点赞数,喜欢数,回答内容。
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 2108
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
Python爬虫实战一：抓取知乎问题下所有回答
TEDxPY
09-15 7408
代码是最近(2021.09)新写的~ 需求 任务需求：抓取知乎问题下所有回答，包括其作者、作者粉丝数、回答内容、时间、回答的评论数、回答赞同数以及该回答的链接。 分析 以最近比较引人关注的"大厂间要相互解除屏蔽链接问题"为例，想要拿到回答的相关数据，可以在Chrome浏览器下按F12来分析请求；但借助Charles抓包工具可以更直观地获取相关字段： 注意我标注的 Query String 参数中 limit 5 表示每次请求返回5条回答，经测试最多可以改成20；offset 表示从第几个回答开始； 而返回
python抓取知乎问题的所有回答
qq_37246424的博客
06-19 905
知乎回答需要用户下拉浏览器才能进行加载，使用webdriver进行创建浏览器实例进行模拟用户下拉；使用前需安装一些库和模块，包括requests、BeautifulSoup、webdriver。将抓取的回答存入D:\\cc\\1.txt文件中，下面url可以自己切换。
Python爬虫教程：如何爬取知乎上的问题、回答、评论等内容
2201_76125261的博客
03-24 1592
在本文中，我们详细介绍了如何编写一个Python爬虫，抓取知乎上的问题、回答和评论数据，并存储到MySQL数据库中。我们还介绍了如何应对知乎的反爬虫机制，如何使用代理IP和Selenium来避免被封禁。爬虫是一个强大的数据收集工具，可以帮助我们获取互联网上大量的结构化数据。希望通过这篇教程，你能够掌握Python爬虫的基本技巧，并能根据实际需求进行爬虫开发。
我用python爬取了知乎Top沙雕问题排行榜
人生苦短， 还不用Python？
11-23 474
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者： 数据森麟 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 这两天偶然上网的时候，被知乎上一个名为“玉皇大帝...
python爬虫项目（一百二十六）：知乎问答网站问题及回答抓取分析
斌擎科技
10-08 1471
知乎作为一个知名的问答平台，聚集了大量高质量的问题与回答，成为用户获取信息和知识的重要途径。对知乎问答数据进行抓取和分析，不仅可以帮助我们了解用户关注的话题，还能为内容创作、市场调研和机器学习模型训练提供丰富的数据支持。本文将详细介绍如何从知乎问答网站抓取问题及其对应的回答，并对这些数据进行分析。我们将使用最新的技术栈，重点介绍爬虫部分，提供完整的代码示例。整个流程包括数据抓取、数据清洗、数据分析以及可视化展示。目录一、前言二、知乎问答数据抓取的背景2.1 数据来源2.2 抓取数据的挑战。
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ad_m1n

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值