python爬虫类模型

author:孙佳星
blogs:https://pythonsun.cn

爬虫类模型

class XXX:
    def __init__(self):
        #用处存储 公用变量,方便调用
    def get_html(self):
        #用于获取网页文本数据
    def parser_html(self):
        #用于解析获得文本数据,如:正则表达式,BS4等
    def save_html(self):
        #用于存储解析后得到的数据,存于数据库或者csv等
    def close(self):
    	#用于调用关闭游标对象,关闭数据库连接
    def serve_forever(self):
        #主函数,创建实例对象后,调用的,里面按照逻辑调用其它方法
# 入口,创建实例对象,调用启动函数
if __name__ == '__main__': 
    uesr = XXX()
    user.serve_forever()