Iv_zzy的博客

中国新闻网的新闻种类较多、而且新闻比较丰富，如果需要获取大量新闻的话，中国新闻网是个不错的选择。界面是这样的：从url不难发现，改变日期就能获取不同日期的新闻那么，正文开始。。。1、获取某一个链接的新闻详情页信息import requestsfrom bs4 import BeautifulSoupurl = 'http://www.chinanews.com/auto/2019/01-30/8743035.shtml'res = requests.get(url)res.encodi

爬取新浪新闻的链接：https://blog.youkuaiyun.com/Iv_zzy/article/details/107535041与获取新浪新闻思路不同，新浪新闻的获取是先把所有的链接存入csv文件，再统一对所有的链接解析。本人对网易新闻的获取采用边解析链接、边获取链接的内容（本人尽可能提供不同的方法，若需要，对照修改使用即可)网易排行榜如下图所示以娱乐新闻为例，点击娱乐，到了这个界面网页链接为：http://news.163.com/special/0001386F/rank_ent.h

最近在做python爬取新闻，所以分别研究了下新浪、网易、中国新闻网的爬取方法。其他几个网页的新闻爬取我的博客里都有，请自行查看~首先，因为需获取的数据为百万级别，所以直接选择了新浪的滚动新闻中心https://news.sina.com.cn/roll/#pageid=153&lid=2509&k=&num=50&page=1本人共需获取100w条数据，分了10个新闻类别，每个类别获取10w条获取百万条新闻链接，存储到csv文件中1、获取滚动新闻网第一页的50