Python爬取新浪新闻评论的url查找方法

原创 于 2021-04-27 20:32:41 发布 · 992 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文通过实例介绍了如何使用Python爬取新浪新闻的评论URL。以快船续约考辛斯的新闻为例，详细步骤包括：打开调试台，定位评论模块URL，进入新页面再次调试，获取info?version=1...的JSON数据，最终剥离callback得到纯净的JSON内容。

快船续约考辛斯至赛季结束 他加盟后11战10胜
以这条新闻为例。
首先F12打开调试台。
找到评论模块，点击框出的url。
在这里插入图片描述

来到这个页面，同样打开调试台，先点①再点②刷新。
在这里插入图片描述

找到info?version=1…就是json了。
在这里插入图片描述

http://comment.sina.com.cn/page/info?version=1&format=json&channel=ty&newsid=comoskmyaawc2000398&group=0&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=10&t_size=3&h_size=3&thread=1&uid=unlogin_user
最后把callback的内容删除。

最低0.47元/天 解锁文章
python爬取新浪财经新闻正文和评论并对评论做情感分析
doubleRighttt的博客
05-02 3455
爬取正文和评论 import urllib.request from urllib.error import HTTPError from bs4 import BeautifulSoup import json import requests import pandas as pd #存入本地txt def write_article(data,flag): if flag == ...
Python爬取新浪国内新闻课程设计实验报告（附代码）
keer957的博客
01-12 3877
目的：熟悉Python网页爬取方法。分析新浪国内新闻首页页面组织，利用urllib及Beautifulsoup爬取新浪国内新闻。 实现功能： 1. 爬取至少20条新闻。 2. 获取其中一条新闻的具体内容。 3. 获取20条新闻的具体内容，并以单独的文本文档格式进行存储。
Python爬取新闻动态评论
夜斗不是神
04-05 4863
1.前些天打开网易新闻，于是点开爬取该新闻的评论。也可以点这里打开！ 2.以前爬取的网页都是静态的，都是源代码中直接就有，一眼就可以观察到的，而这次打开却不一样，根本没有自己想要的评论内容。然后通过搜索学习，知道了获取数据的办法。主要是html中的JavaScript和Python中json模块。 具体步骤如下： 1.输入网址，用谷
查看应用评论URL
Li_Huifeng的专栏
06-21 1836
1、通过网站在电脑上查看： http://ax.itunes.apple.com/WebObjects/MZStore.woa/wa/viewContentsUserReviews?type=Purple+Software&id=577337994 2、应用app内查看（进入评论界面）： NSString *str = [NSString stringWithFormat:
网络爬虫 Python爬虫 可爬取贴吧新闻等
05-06
基于Python网络爬虫的设计，可以爬取360新闻，百度贴吧等，百分百可用
100行python代码爬取5万条网易新闻评论
zach 的博客
07-23 3034
前几天学习了一下如何爬取网易新闻动态评论，以demo为基础扩展成了100行的小程序，一次可以获取5万多条评论（当然，这取决于当时的评论总数），代码贴上：from bs4 import BeautifulSoup import requests import json#global values headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_
python爬虫爬取新浪新闻的评论数以及部分评论
Kingsley's Blog
06-10 8509
首先应该去找到评论数所对应的网页元素： 可以大致猜测，这里是用JavaScript·去计算评论数量的。 刷新页面，去观测页面的js部分，有没有对应的链接，仔细查看： 找到之后，点击Preview，看到内部结构： 可以看出count部分，total代表了参与人数，show字段代表了评论数 就可以判断这就是需要的链接。也可以看出这是一种json数据。点击header，复制链接UR...
python爬虫新浪新闻_python爬虫之获取新浪新闻信息
weixin_28717611的博客
02-04 3347
一：前言windows平台：1)：谷歌的chrome浏览器；python3.6的软件安装包，需要导入的库有：[python] view plaincopypipinstallrequestspipinstallBeautifulSoup42)：直接用集成好的软件Anaconda；linux平台下：1)：火狐浏览器；Ubuntu16.04已经自动安装了python2.7和python3.6...
精选资源
新浪微博爬虫，用python爬取新浪微博数据.zip
08-24
以上就是使用Python爬取新浪微博数据的基本步骤和关键知识点。在实际操作中，可能还需要根据具体需求进行更复杂的处理，例如处理JavaScript动态加载的内容、模拟登录、处理JSON API等。通过不断地学习和实践，你可以...
用python实现爬取优快云热门评论URL并存入redis
Rex__404的博客
04-01 5330
一、配置webdriver 下载谷歌浏览器驱动，并配置好 import time import random from PIL import Image from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_
简单的爬取新浪新闻标题与链接
qq_35854409的博客
04-18 1270
from bs4 import BeautifulSoup import requests url ='http://news.sina.com.cn/china/' html =requests.get(url) html.encoding ='utf-8' soup =BeautifulSoup(html.text,'lxml') links=soup.select('.blk122') x
爬取新浪、网易、今日头条、UC四大网站新闻标题及内容
热门推荐
勿忘初心
10-24 1万+
首先说明一下，文件的命名不能含有:?|"* 新浪： 新浪网的新闻比较好爬取，我是用BeautifulSoup直接解析的，它并没有使用JS异步加载，直接爬取就行了。 from bs4 import BeautifulSoup from urllib import request def download(title, url,m): req = request.Request(url)
url怎么获取_手把手带你爬天猫，获取杜蕾斯评论数据
weixin_39996742的博客
12-09 460
又到了Python爬虫+数据分析可视化专题今天跟着老师手把手带你爬天猫。1、登录天猫网站  对于有些网站，需要登陆后才有可能获取到网页中的数据。天猫网站就是其中的网站之一。2、搜索指定网页  这里我想要爬取的是杜蕾斯。因此我们直接搜索“杜蕾斯”。由于“杜蕾斯”的卖家有很多，这里我们只选取页面的第一个图片，进行其中的“评论数据”的爬取。点击第一个图片，进入到我们最终想要爬取数据的网页。可以...
新浪短url地址
li_ser的专栏
11-05 431
http://api.t.sina.com.cn/short_url/shorten.json?source=2815391962&url_long=http://www.sxxmzn.com
爬取新浪国内新闻及热评
→↗允↘的博客
08-04 988
爬取sina国内新闻及热评 import requests import json import re import pandas from bs4 import BeautifulSoup from datetime import datetime # import sys # sys.stdout = open('1.out', 'w', encoding='utf-8') commentU...
爬取新浪新闻网
flamingobaby的博客
08-03 1140
爬取新闻的标题，日期和链接import requests from bs4 import BeautifulSoupurl='http://news.sina.com.cn/china/' res=requests.get(url) soup=BeautifulSoup(res.text,'lxml') print(soup)此时会发现爬取的数据中中文全部为乱码，因此应加入一句：res.encodi
php 新浪url,PHP URL函数详解
weixin_42596214的博客
03-11 156
php url函数:parse_url()parse_url(PHP 3, PHP 4, PHP 5)parse_url -- 解析 URL，归来其构成局部解释array parse_url ( string url )本函数解析一个 URL 并归来一个关系数组，包括在 URL 中揭示的各种构成局部。本函数不是用来检讨给定 URL 的合法性的，只是将其分解为下面列出的局部。不全面的 URL 也被接...
没空看新闻？教你获取实时新浪新闻
下一个路口，又会是怎样的结果
03-16 773
效果展示 先安装需要使用的第三方库 requests库 requests是python实现的简单易用的HTTP库，但因为是第三方库，所以使用前需要先安装(如果用的是Anaconda则不用安装)，安装方法： pip install requests 安装完成后，使用import requests导入该库测试一下，若没有报错则为安装成功 bs4库 BS4全称是BeatifulSoup，它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能，但因为是第三方库，所以使用前需要先安
生成新浪短地址 php,生成新浪的短链接和还原新浪短链接类（方法）总结
weixin_42548829的博客
03-21 598
生成新浪的短链接和还原新浪短链接类(方法)总结。/** 生成新浪的短链接或还原新浪短链接* date 2014年6月1日* author www.phpernote.com*/class SinaUrl{//新浪APPKEYconst APPKEY='31641035';//CURLprivate static function CURLQueryString($url){//设置附加HTTP头$...
请写出python爬取新浪新闻的代码
最新发布
10-16
在Python中，我们可以使用requests和BeautifulSoup库来爬取新浪新闻网站。以下是一个基本的示例，展示如何抓取首页的部分新闻标题和链接。注意这只是一个基础示例，实际操作时可能需要处理反爬虫策略，比如设置User-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值