基于知乎关键词爬虫

最新推荐文章于 2024-11-23 08:51:41 发布

原创

最新推荐文章于 2024-11-23 08:51:41 发布 · 置顶 · 2.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #知乎 #关键字

该博客介绍了如何使用Python实现一个知乎关键词爬虫，通过搜索‘荒野行动’获取问题、答案及评论，涉及requests、urllib2、lxml库，实现了数据抓取、解析和存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 25 10:34:27 2017

@author: gzs10227
"""

import urllib,urllib2,re,json
import requests
urllib.getproxies_registry =lambda:{}
import sys
stderr = sys.stderr
stdout = sys.stdout
reload(sys)
sys.setdefaultencoding('utf8')
sys.stderr = stderr
sys.stdout = stdout
from lxml import etree
import re
import pandas as pd
from pandas import DataFrame
import os
import random
import datetime,time





url = 'https://www.zhihu.com/topic/20105184/top-answers?page=1'


headers = {
'accept':'application/json, text/plain, */*',
'Accept-Language':'zh-CN,zh;q=0.9',
'authorization':'Bearer 2|1:0|10:1514185979|4:z_c0|92:Mi4xZzZSRkFnQUFBQUFBZ0VJeThBYTdEQ1lBQUFCZ0FsVk4tdkl0V3dCSHVJTm93T3d6a3lBSmotSjJQR0xzaV82QUJR|fd43b64c754f3e2d34658961f5db3f233ea367c86eb90c299685746fb8e1cbf8',
'Cache-Control':'no-cache',
'Connection':'keep-alive',
'Cookie':'',