使用Python urllib2下载优快云博客列表到本地

最新推荐文章于 2024-11-13 22:54:51 发布

原创最新推荐文章于 2024-11-13 22:54:51 发布 · 960 阅读

0 ·

CC 4.0 BY-SA版权

Python 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了如何使用Python脚本从优快云博客网站下载特定页面的内容，并将其保存为本地文件。通过输入地址和页码，实现自动化获取和存储博客信息。

部署运行你感兴趣的模型镜像

# -*- coding: utf-8 -*-
import string, urllib2

# 下载优快云博客列表
def load_csdn(url, page):
    name = string.zfill(page, 5) + '.html'
    print '正在下载' + str(page) + '个页面,并存储其为' + name

    f = open(name, 'w+')
    url = url + '/' + str(page)
    print url

    # 伪装成浏览器
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.101 Safari/537.36'
    }
    req = urllib2.Request(url = url,headers = headers)
    m = urllib2.urlopen(req).read()
    
    f.write(m)
    f.close()

# http://blog.youkuaiyun.com/Geek_ymv/article/list/2

url = str(raw_input(u'请输入地址：'))
page = int(raw_input(u'请输入第几页：'))

# 下载网页到本地
load_csdn(url, page)

您可能感兴趣的与本文相关的镜像