python 爬虫爬取网易新闻网易排行榜

最新推荐文章于 2024-04-28 15:03:41 发布

Mooney安

最新推荐文章于 2024-04-28 15:03:41 发布

阅读量932

点赞数

分类专栏：爬取新闻内容文章标签： python 数据挖掘

本文链接：https://blog.youkuaiyun.com/Iv_zzy/article/details/107536472

版权

爬取新浪新闻的链接：

https://blog.youkuaiyun.com/Iv_zzy/article/details/107535041

爬取中国新闻网的链接

https://blog.youkuaiyun.com/Iv_zzy/article/details/107537295

与获取新浪新闻思路不同，新浪新闻的获取是先把所有的链接存入csv文件，再统一对所有的链接解析。本人对网易新闻的获取采用边解析链接、边获取链接的内容（本人尽可能提供不同的方法，若需要，对照修改使用即可)

网易排行榜如下图所示
在这里插入图片描述
以娱乐新闻为例，点击娱乐，到了这个界面
网页链接为：

http://news.163.com/special/0001386F/rank_ent.html

1、首先，从网页上获取带有链接的title
此处是返回一个list

def Initpage(url, headers):
    res = requests.get(url, headers = headers) 
    res.content.decode('gb18030','ignore') #原网页gbk
    soup = BeautifulSoup(res.text, 'html.parser')
    #print(soup.prettify())
    titles = soup.find('div', 'area-half left').find('div', 'tabContents active'