5.简单python爬虫——爬取新闻页

最新推荐文章于 2024-07-07 16:39:11 发布

weixin_34292287

最新推荐文章于 2024-07-07 16:39:11 发布

阅读量258

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫 python

原文链接：https://yq.aliyun.com/articles/625528

本教程介绍如何使用Python爬虫从新浪新闻首页抓取新闻链接，并将新闻内容保存到本地文件。通过正则表达式匹配新闻URL，利用urllib库完成网页内容的下载。

#python爬虫实例   爬取新闻
#爬取新浪新闻首页中所有的新闻，爬到本地（http://news.sina.com.cn/）
#实现过程，先爬首页，通过正则表达式获取所有新闻链接，然后依次爬各新闻，并存储到本地

import urllib.request
import re

data=urllib.request.urlopen("http://news.sina.com.cn/").read()
data2=data.decode("utf-8","ignore")
pat='href="(http://news.sina.com.cn/.*?)"'
allurl=re.compile(pat).findall(data2)
for i in range(0,10):
    try:
        print("第"+str(i)+"次爬取")
        thisurl=allurl[i]
        file="/Users/xubin/myapp/pythonfile/sina/"+str(i)+".html"
        urllib.request.urlretrieve(thisurl,file)
        print("------成功-------")
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)