python实现syslog接受日志数据源代码

Syslog 是一种标准的日志记录协议，用于传输日志消息。它通常用于集中收集不同系统和设备的日志数据。本文将展示如何使用Python编写一个Syslog服务器，接受并处理Syslog日志消息。

1. 环境准备
   在开始之前，请确保你的系统上已经安装了Python。你可以通过以下命令检查是否已安装Python：

bash
python3 --version
如果还没有安装Python，请参考官方指南进行安装。

2. 安装依赖库
   我们将使用socket模块来创建一个UDP服务器，同时使用logging模块来处理日志消息。由于这些模块是Python的标准库，无需额外安装。

3. 编写Syslog服务器
   我们将创建一个简单的UDP服务器来接收Syslog消息，并将这些消息记录到本地文件中。以下是实现代码：
   import socket
   import logging
   from logging.handlers import RotatingFileHandler

设置日志记录器

logger = logging.getLogger(‘SyslogServer’)
logger.setLevel(logging.INFO)
handler = RotatingFileHandler(‘syslog.log’, maxBytes=1000000, backupCount=5)
formatter = logging.Formatter(‘%(asctime)s - %(message)s’)
handler.setFormatter(formatter)
logger.addHandler(handler)

def start_syslog_server(host=‘0.0.0.0’, port=514):
# 创建一个UDP套接字
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
sock.bind((host, port))

print(f'Syslog server started on {host}:{port}')

while True:
    # 接收数据
    data, addr = sock.recvfrom(1024)
    message = data.decode('utf-8')
    
    # 记录日志消息
    logger.info(f'{addr[0]}: {message}')

if name == “main”:
start_syslog_server()

设置日志记录器：我们使用logging模块设置了一个日志记录器，将日志消息写入syslog.log文件。RotatingFileHandler用于自动轮转日志文件，以避免单个日志文件过大。

创建UDP套接字：使用socket.socket()创建一个UDP套接字，并绑定到指定的主机和端口（默认是0.0.0.0:514）。

接收数据：使用recvfrom()方法接收来自客户端的消息，每次最多接收1024字节的数据。

记录日志消息：将接收到的日志消息记录到文件中，格式为<客户端IP>: <日志消息>。

5. 运行Syslog服务器
   将上述代码保存为syslog_server.py文件，并在终端中运行:
   python3 syslog_server.py
   服务器启动后，它将监听UDP 514端口，并记录接收到的所有Syslog消息。

测试Syslog服务器
你可以使用Netcat（nc）或其他工具向Syslog服务器发送测试消息
echo “<13>Test syslog message” | nc -u -w1 127.0.0.1 514

下面贴出实际项目中我在使用的案例：

logger = generate_info_log(‘syslog_rec’, ‘INFO’)
lock = multiprocessing.Manager().Lock()
lock_sql = multiprocessing.Manager().Lock()

class MyServer(socketserver.BaseRequestHandler):
def handle(self):
request, addr = self.rec_info()
self.handle_info(request, addr)

def rec_info(self):
    request = self.request[0]
    addr = self.client_address[0]
    return request, addr

def handle_info(self, request, client_address):
    try:
        original_data = request.decode('UTF-8', 'ignore').strip(b'\x00'.decode())
        #logger.info(original_data)
        if 'LAC processor_server: ' in original_data:
            original_data = request.decode('gb2312', 'ignore')
    except:
        original_data = ''
    if client_address and original_data:
        data_dict = {"client_address": client_address,
                     "original_data": original_data}
        sq.lpush("syslog_queue", json.dumps(data_dict))
        # sq.ltrim("syslog_queue", 0, 1000000)

class Crawl():
def run(self):
print(‘crawl’)
try:
self.get_device_syslog()
except Exception as e:
pass

def get_device_syslog(self):
    HOST = "0.0.0.0"
    PORT = 514
    udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    udp_socket.bind((HOST, PORT))

    while True:
        recv_data = udp_socket.recvfrom(8192)
        request = recv_data[0]
        addr = recv_data[1]
        gevent.spawn(self.receive_info(request, addr))

def receive_info(self, request, client_address):
    global data_queue
    try:
        original_data = request.decode('UTF-8', 'ignore').strip(b'\x00'.decode())
        if 'LAC processor_server: ' in original_data:
            original_data = request.decode('gb2312', 'ignore')
    except:
        original_data = ''
    client_address = client_address[0]
    if client_address and original_data:
        data_dict = {"client_address": client_address,
                     "original_data": original_data}
        sq.lpush("syslog_queue", json.dumps(data_dict))
        sq.ltrim("syslog_queue", 0, 1000000)

将上述业务代码替换为你的项目中实际的业务逻辑即可。