爬取网页的通用代码框架

kimiYangfly

于 2017-05-25 16:15:13 发布

阅读量669

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/ykm18811712927/article/details/72730607

python爬虫专栏收录该内容

23 篇文章

订阅专栏

这是一个简单的Python爬虫代码框架，使用requests库获取网页HTML内容。通过设置URL和超时时间，尝试从指定网站抓取数据，并处理可能的HTTP错误。在主函数中，展示了如何调用该函数来获取百度首页的HTML文本。

#-*- coding:UTF-8 -*-
import requests

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'

if __name__ == '__main__':
    url = 'http://www.baidu.com'
    #url = 'www.baidu.com'
    print getHTMLText(url)