python tornado 框架使用（2）

最新推荐文章于 2024-08-02 10:15:00 发布

原创最新推荐文章于 2024-08-02 10:15:00 发布 · 180 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #json

python常用专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一个使用Python实现的简单网页抓取系统，该系统包括GET和POST请求方法，并能够处理URL请求及响应内容的读取。文章提供了具体代码示例，展示了如何通过Python标准库urllib进行网页内容抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（2）抓取系统

common_urllib.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys 
import os
import urllib
import urllib2
import traceback
import json
import logging
import types
import re
import common_logging

logger = logging.getLogger()

def get(url):
    content = u''  
    try:   
        status = urllib.urlopen(url)   
        if status.getcode() == 200:   
            content = status.read()   
            content = unicode(content.strip(), 'utf-8', 'ignore')   
        else:   
            logger.error('fetch error [%s]' % url)   
    except:   
        logger.error('fetch error %s' % traceback.format_exc())   
    return content  

def post(url, dict_data={}):
    content = u'' 
    try:
        data = urllib.urlencode(dict_data)
        req = urllib2.Request(url, data)
        status = urllib2.urlopen(req)
        if status.getcode() == 200:
            content = status.read()
            content = unicode(content.strip(), 'utf-8', 'ignore')   
        else:
            logger.error('fetch error [%s]' % url)
    except:
        logger.error('%s' % traceback.format_exc())
    return content

def post_content(url, data):
    content = u''
    try:
        req = urllib2.Request(url, data)
        status = urllib2.urlopen(req)
        if status.getcode() == 200:
            content = status.read()
        else:
            logger.error('fetch error [%s]' % url)
    except:
        logger.error('%s' % traceback.format_exc())
    return content


if __name__ == '__main__':
    content = get("http://www.sina.com")
    print len(content)