将 Python 日志记录器连接到 Oracle 数据库

当前我们需要创建一个 Python 日志记录器扩展，用于将日志记录到数据库中。我们有多个 Python 应用程序（它们都在后台运行），目前它们将日志记录到一堆文本文件中，这让我们几乎无法确定某个应用程序是否已经出现故障。给我的任务是将上述日志记录从文本文件移到 Oracle 数据库中。表已经定义好，并且已经确定需要将日志记录到哪些位置，但现在，我正在尝试添加另一个用于将日志记录到数据库的日志记录器。我使用 Python 2.5.4 和 cx_Oracle，应用程序通常可以作为服务/守护进程或常规应用程序运行。

我主要好奇最佳的解决方案是什么。以下是一些问题：

• 如果 cx_Oracle 出现任何错误，应该将这些错误记录到哪里？如果它已关闭，最好让记录器退回到默认文本文件吗？
• 一段时间前，我们开始强制要求人们使用 sys.stderr/stdout.write 来替代 print，因此在最坏的情况下，我们不会遇到因 print 弃用而导致的任何问题。有没有办法无缝地使所有数千个 sys.std 调用直接进入记录器，并让记录器减少开销？
• 在每次记录的消息之后，脚本是否应该自动执行提交？ （每秒将会有几十个）
• 实现日志记录系统的新处理程序的最佳方法是什么？从基本 Handler 类继承似乎是最简单的。

任何想法/建议都很棒。

解决方案

1. 如果 cx_Oracle 出现错误，将这些错误记录到文本文件可能是最好的选择。

2. 您可以尝试将 sys.stdout 和 sys.stderr 重定向到可记录它们所写内容的类文件对象。

3. 我认为您确实希望在每个事件之后进行提交，除非您有充分的理由不这样做。或者，您可以缓冲多个事件并在一段时间内将它们全部写入单个事务中。

4. 以下是使用 mx.ODBC 的示例，您可能无需太多麻烦就能将其调整到 cx_Oracle。它旨在与 Python DB-API 2.0 兼容。

单独的 Python 日志记录分发（在 Python 中添加日志记录之前）位于 http://www.red-dove.com/python_logging.html，尽管 Python 中的日志记录包是最新的，但单独的分发包含一个包含大量有用示例的测试目录派生处理程序类。

import sys, string, time, logging

class DBHandler(logging.Handler):
    def __init__(self, dsn, uid='', pwd=''):
        logging.Handler.__init__(self)
        import mx.ODBC.Windows
        self.dsn = dsn
        self.uid = uid
        self.pwd = pwd
        self.conn = mx.ODBC.Windows.connect(self.dsn, self.uid, self.pwd)
        self.SQL = """INSERT INTO Events (
                        Created,
                        RelativeCreated,
                        Name,
                        LogLevel,
                        LevelText,
                        Message,
                        Filename,
                        Pathname,
                        Lineno,
                        Milliseconds,
                        Exception,
                        Thread
                   )
                   VALUES (
                        %(dbtime)s,
                        %(relativeCreated)d,
                        '%(name)s',
                        %(levelno)d,
                        '%(levelname)s',
                        '%(message)s',
                        '%(filename)s',
                        '%(pathname)s',
                        %(lineno)d,
                        %(msecs)d,
                        '%(exc_text)s',
                        '%(thread)s'
                   );
                   """
        self.cursor = self.conn.cursor()

    def formatDBTime(self, record):
        record.dbtime = time.strftime("#%m/%d/%Y#", time.localtime(record.created))

    def emit(self, record):
        try:
            #use default formatting
            self.format(record)
            #now set the database time up
            self.formatDBTime(record)
            if record.exc_info:
                record.exc_text = logging._defaultFormatter.formatException(record.exc_info)
            else:
                record.exc_text = ""
            sql = self.SQL % record.__dict__
            self.cursor.execute(sql)
            self.conn.commit()
        except:
            import traceback
            ei = sys.exc_info()
            traceback.print_exception(ei[0], ei[1], ei[2], None, sys.stderr)
            del ei

    def close(self):
        self.cursor.close()
        self.conn.close()
        logging.Handler.close(self)

dh = DBHandler('Logging')
logger = logging.getLogger("")
logger.setLevel(logging.DEBUG)
logger.addHandler(dh)
logger.info("Jackdaws love my big %s of %s", "sphinx", "quartz")
logger.debug("Pack my %s with five dozen %s", "box", "liquor jugs")
try:
    import math
    math.exp(1000)
except:
    logger.exception("Problem with %s", "math.exp")