记录java使用rsyslog的一次实验

详情

rsyslog的基本架构图如下。

 

这个实验的需求是测试两台服务器之间,使用rsyslog进行日志传输的性能。

rsyslog网上的资料非常少,使用java进行rsyslog收发的资料就更少了。

java是有一个jar包可以进行rsyslog编程的,在pom中引入如下坐标

    <!-- https://mvnrepository.com/artifact/org.syslog4j/syslog4j -->
        <dependency>
            <groupId>org.graylog2</groupId>
            <artifactId>syslog4j</artifactId>
            <version>0.9.60</version>
        </dependency>

我们使用这个jar包可以搭建syslog服务器和客户端,其中服务器是用来接收日志的,客户端是用来发送日志的,核心的代码有一下三个

客户端

public class ClientClass implements Runnable{

    //控制循环结束的
    private boolean flag = true;
    private static ClientClass ClientClass = null;

    private String host;
    private int port;

    // 用来记录发送数量
    public static int num = 0;
    // 记录开始时间
    private static Long starttime = null;

    public static long getspeed(){
        if(starttime == null){
            return 0L;
        }
        long endtime = System.currentTimeMillis();
        if((endtime-starttime)/1000==0){
            return 0L;
        }
        long speed = num / ((endtime-starttime)/1000);
        return speed;
    }



    private static SyslogIF syslogIF;

    private ClientClass (String host, int port) {
        this.host = host;
        this.port = port;
    }

    private ClientClass(){

    }


    public static synchronized ClientClass getClient(String host, int port)
    {
        if(ClientClass == null) {
            ClientClass = new ClientClass(host, port);
        }
        return ClientClass ;
    }
    @Override
    public void run() {
        starttime = System.currentTimeMillis();
        try {
            //初始化标识位
            flag = true;
            //获取syslog的操作类,使用udp协议。syslog支持"udp", "tcp", "unix_syslog", "unix_socket"协议
            SyslogIF syslog = Syslog.getInstance("tcp");
            //设置syslog服务器端地址   地址为之前你服务器的地址
            syslog.getConfig().setHost(host);
            //设置syslog接收端口,默认514
            syslog.getConfig().setPort(port);
            //拼接syslog日志

            System.out.println("+++++++++++++start++++++++++++");
            while(flag) {
                // 等级为debug
                // 这句话就是发送数据
                String str = "[" + num + "]->" + "operator Protocol "+ Thread.currentThread().getName();
                syslog.log(SyslogConstants.LEVEL_DEBUG, URLDecoder.decode(str,"utf-8"));
                num++;
                // 给程序缓冲时间,没有缓冲时间接受不到数据
                //Thread.sleep(100);
            }
            //System.out.println(Thread.currentThread().getName()+" end");
        } catch (Exception e) {
            System.err.println("出错了");
            e.printStackTrace();
        }
    }
    public void shutdown() {
        try {
            //线程停止
            Thread.sleep(2000);
            //改变标识位
            flag = false;
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }


}

服务器

服务器分为服务器的代码和处理器的代码

   public class SyslogServerEventHandler implements SyslogServerSessionEventHandlerIF {
    private String syslog ;



    // 记录接收的数量
    public int num = 0;

    //重写event方法
    public void event(Object session, SyslogServerIF syslogServer, SocketAddress socketAddress, SyslogServerEventIF event) {
        //判断传输时间是否存在,不存在将现在的时间设置为传输时间
        String date = (event.getDate() == null ? new Date() : event.getDate()).toString();
        //将解析日志的生成端,<<3是要该数左移动三位计算
        String facility = SyslogUtility.getFacilityString(event.getFacility()<<3);
        //讲解析日志的级别,级别越大越低
        String level = SyslogUtility.getLevelString(event.getLevel());
        //获取当前的源设备IP
        String sourceIP = getIPAddress(socketAddress.toString());
        //获取到信息主体
        String msg = event.getMessage();
        // 放入信息
        // 这里就是接收到的所有消息
        // ######################
        setSyslog("这是一条记录 {" + facility + "} " + date + " " + level + " " + event.getMessage()+ " " +sourceIP );
        // ######################
        num++;


        try {
            // 生成一个实体类保存日志
            LogEntity logEntity = new LogEntity();
            logEntity.setUidrecordid(IdUtil.randomUUID());
            logEntity.setContent(getSyslog());
            Date date1 = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("dd-MM-yyyy HH:mm:ss");
            logEntity.setDttime(formatter.format(date1));
            GetList.addLogEntityList(logEntity);

        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }


        /*
        try {
            //打印信息
            // 这里是对于消息的处理
            System.out.println(getSyslog());
        } catch (UnsupportedEncodingException e) {
            System.err.println("UnsupportedEncodingException");
        }
        */
    }
    public String getSyslog() throws UnsupportedEncodingException {
        return new String(sysl
<think>我们注意到用户的问题是关于如何使用rsyslog同步文件(特别是传输压缩包)的配置方法。然而,根据提供的引用和rsyslog的功能,我们需要澄清一个关键点:rsyslog是一个日志收集和转发系统,它主要用于传输日志消息,而不是用于同步任意文件(如压缩包)。因此,直接使用rsyslog来同步压缩包可能并不合适。但是,用户可能混淆了rsyslog和rsync(引用[4]中提到了rsync)。rsync是一个用于文件同步的工具,它能够高效地传输和同步文件(包括压缩包)。因此,我们推断用户可能实际上需要的是使用rsync来同步压缩包的方法。 如果用户确实需要传输日志文件(可能是压缩后的日志文件),那么rsyslog可以配置为在日志轮转(logrotate)时压缩日志文件,并且可以通过rsyslog的转发功能将日志消息(包括压缩的日志文件信息)发送到远程服务器。但是,rsyslog本身并不直接处理压缩包的传输,而是传输日志事件(文本消息)。如果需要传输整个压缩文件,通常我们会使用rsync或scp等工具。 考虑到以上情况,我们将提供两种可能的解决方案:1.如果用户需要同步的是日志文件(包括压缩后的日志文件),我们可以结合logrotate(用于日志轮转和压缩)和rsyslog(用于转发日志事件)或rsync(用于同步文件)来实现。 2.如果用户需要同步任意压缩包(不限于日志),那么应该使用rsync。 由于用户明确提到了“rsyslog同步文件传输压缩包”,我们假设用户可能希望将服务器上生成的压缩日志文件同步到另一台服务器。因此,我们将重点放在如何配置logrotate来压缩日志文件,然后使用rsyslog的转发功能(但注意:rsyslog转发的是日志事件,而不是文件本身)或者使用rsync来同步压缩后的文件。 然而,根据引用[2]中关于logrotate的配置示例,我们可以配置logrotate在轮转日志时压缩日志文件(使用compress选项),然后我们可以配置一个脚本(使用postrotate脚本)在压缩后使用rsync将压缩的日志文件同步到远程服务器。 因此,我们提供以下步骤: 步骤1:配置logrotate压缩日志文件在logrotate配置文件中(例如/etc/logrotate.d/下的自定义配置文件或主配置文件/etc/logrotate.conf),确保为需要压缩的日志文件配置了compress选项。例如:```bash/var/log/your_log_file{dailyrotate7compressdelaycompressmissingoknotifemptycreate644 rootrootpostrotate#这里可以添加同步压缩文件的命令,例如使用rsyncrsync -avz/var/log/your_log_file.*.gzroot@remote_server:/path/to/destination/endscript} ```注意:上面的配置中,我们使用了`postrotate`脚本,在日志轮转并压缩后,使用rsync将压缩文件同步到远程服务器。这里假设压缩后的文件有.gz扩展名。 步骤2:确保rsync配置正确为了使用rsync,需要确保本地主机和远程服务器之间配置了SSH密钥认证,以便无需密码即可传输文件。步骤3:如果用户确实想使用rsyslog来传输日志事件(而不是文件),那么可以配置rsyslog日志转发到远程服务器。但这不会传输压缩包,而是传输日志消息。配置方法如下:在rsyslog配置文件(如/etc/rsyslog.conf)中添加:``` *.* @remote_server_ip:514```这会将所有日志转发到远程服务器的514端口(UDP)。如果需要TCP,使用@@。但是,由于用户要求传输压缩包,所以第一种方法(logrotate+rsync)更合适。结论:如果用户需要同步压缩包(尤其是压缩的日志文件),推荐使用logrotate进行日志轮转和压缩,然后在logrotate的postrotate脚本中使用rsync同步压缩文件。如果用户的问题确实是指使用rsyslog来传输压缩包,那么我们需要指出rsyslog并不适合此任务,并建议使用rsync。根据引用[4]中提到的rsync,我们更倾向于推荐rsync作为文件同步工具。因此,我们将提供使用rsync同步压缩包的方法: 使用rsync同步压缩包的基本命令:```bashrsync -avz/path/to/local/compressed_file.tar.gz username@remote_host:/path/to/remote/directory/ ```选项说明: -`-a`:归档模式,保持文件属性- `-v`:详细输出-`-z`:传输时压缩如果用户需要定期同步,可以将此命令加入cron任务。 考虑到用户可能对rsyslog和rsync的功能有混淆,我们将在回答中澄清这一点,并提供两种工具的正确使用场景。 下面我们按照用户要求的结构化格式进行回答。</think>### 使用 rsyslog 同步压缩包文件的配置方法 需要明确的是:**rsyslog 是专业的日志管理系统,不是文件同步工具**。它设计用于传输结构化日志消息(文本数据),不适合直接传输二进制压缩包。要实现压缩包文件的同步,推荐以下两种专业方案: --- ### 方案一:使用 rsync 同步压缩包(推荐) 这是最符合需求的解决方案,通过 SSH 安全传输文件: ```bash # 基本同步命令(传输后保留压缩包属性) rsync -avz /本地路径/压缩包.tar.gz 用户名@远程服务器IP:/目标路径/ # 示例:将本机 /backup 下的 data.tar.gz 传到 192.168.1.100 的 /mnt rsync -avz /backup/data.tar.gz root@192.168.1.100:/mnt/ ``` **参数说明**: - `-a`:归档模式(保留权限、时间戳等) - `-v`:显示详细过程 - `-z`:传输时压缩(节省带宽) - `--progress`:显示传输进度(可选) **自动化配置**: 1. 配置 SSH 密钥免密登录: ```bash ssh-keygen -t rsa ssh-copy-id root@远程服务器IP ``` 2. 创建定时同步脚本(如 `/root/sync_backup.sh`): ```bash #!/bin/bash rsync -avz /backup/*.tar.gz root@192.168.1.100:/mnt/ >> /var/log/rsync.log 2>&1 ``` 3. 添加 cron 定时任务: ```bash crontab -e # 每天凌晨3点同步 0 3 * * * /root/sync_backup.sh ``` --- ### 方案二:rsyslog + 日志转发(仅限文本日志) 如果目标是**同步压缩的日志文件**(如 logrotate 生成的 .gz 文件),需结合其他工具: 1. **配置 logrotate 压缩日志**(引用[2]) ```bash /var/log/app.log { daily rotate 7 compress # 启用压缩 delaycompress # 延迟压缩(方便后续处理) postrotate /usr/bin/rsync -avz /var/log/app.*.gz root@远程服务器:/logs/ # 同步压缩文件 endscript } ``` 2. **rsyslog 转发原始日志**(非压缩包): ```bash # 在 /etc/rsyslog.conf 添加 *.* @192.168.1.100:514 # UDP 转发到远程服务器 ``` --- ### 关键区别说明 | **特性** | rsync | rsyslog | |------------------|--------------------------------|-----------------------------| | 适用场景 | 任意文件/压缩包同步 | 仅结构化日志消息传输 | | 二进制文件支持 | ✅ 是 | ❌ 否(可能损坏数据) | | 传输效率 | 增量同步 + 压缩传输 | 纯文本传输 | | 典型应用 | 备份文件、压缩包迁移 | 日志集中收集与分析 | > **重要提醒**:直接通过 rsyslog 传输压缩包会导致二进制数据被解析为文本,造成文件损坏(引用[3])。如需传输非日志类压缩包,必须使用 rsync/scp 等专业文件传输工具。 --- ### 日志管理最佳实践 1. **集中化日志服务器配置**(引用[1][3]): ```bash # 在客户端 /etc/rsyslog.conf 添加: *.* @日志服务器IP:514 # 在服务器端启用接收: module(load="imudp") input(type="imudp" port="514") ``` 2. **日志压缩存储**(引用[2]): ```bash /var/log/syslog { rotate 7 daily compress # 启用gzip压缩 delaycompress # 延迟到下次轮转时压缩 postrotate /usr/lib/rsyslog/rsyslog-rotate endscript } ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值