通用爬虫框架代码

import requests
#from lxml import html
def getHTMLText(url):    #爬虫标准函数
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()  #如果状态不是200，引发异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"
#requests这个库 值得研究
if __name__ == '__main__':
    url="https://www.baidu.com"
    print (getHTMLText(url))