博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
跨平台日志清理工具 Log-Cutter v2.0.1 正式发布
阅读量:6906 次
发布时间:2019-06-27

本文共 6572 字,大约阅读时间需要 21 分钟。

    Log-Cutter 是开发的一个简单实用的日志切割清理工具。对于服务器的日常维护来说,日志清理是非常重要的事情,如果残留日志过多则严重浪费磁盘空间同时影响服务的性能。如果用手工方式进行清理,会花费太多时间,并且很多时候难以满足实际要求。例如:如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割,保留最新的 100M 日志记录? 网上没有发现能满足本座要求的日志切割工具,因此花了一些闲暇时间自己写了一个。由于要在多个平台上使用,为了方便采用 Java 实现。本工具命名为 Log-Cutter,主要有以下特点:

  1. 支持 Linux、Mac 和 Windows 等所有常见操作系统平台
  2. 支持命令行交互式运行
  3. 支持后台非交互式运行(Linux/MAC 下使用 daemon 进程实现,Windows 用系统 Service 实现)
  4. 支持三种日志清理方式(删除日志文件、切割日志文件或归档日志文件)
  5. 支持对 GB18030、UTF-8、UTF-16LE、UTF-16BE 等常用日志文件类型进行切割
  6. 高度可配置(程序执行周期、要删除的日志文件过期时间、要切割的日志文件阀值和保留大小等均可配置

Log-Cutter 官方网站:

Log-Cutter 下载地址:

 

一、环境要求
--------------------------------------------------
1) Java 版 本: JDK / JRE 
1.6 以上
2) 依赖程序包: dom4j、log4j、ant、juniversalchardet
--------------------------------------------------
二、配置文件
--------------------------------------------------
1) 程序配置文件: conf/config.xml (默认)
    (示例参考:conf/config-template.xml)
2) 日志配置文件: conf/log4j.properties (默认)
    (示例请参考:conf/log4j.properties)
--------------------------------------------------
三、安装部署
(注 :LogCutter 需要配置 ‘JAVA_HOME’ / ‘JRE_HOME’ 和 ‘CLASSPATH’ 系统环境变量)
--------------------------------------------------
1) 配置系统环境变量 ‘JAVA_HOME’(或 ‘JRE_HOME’) 和 ‘CLASSPATH’
2) 在 LogCutter配置文件(默认:conf/config.xml)中配置清理规则
3) 启动 LogCutter
--------------------------------------------------
四、启动方式
--------------------------------------------------
1) Windows
    A) 前台运行: > run.bat [ -f config-file ]
    
    B) 后台运行: > LogCutter.exe    {    
                                    -install-demand  (安装手动启动服务)
                                    -install-auto    (安装自动启动服务)
                                    -uninstall       (删除服务)
                                    -start           (启动服务)
                                    -stop            (停止服务)
                                    -status          (查看服务状态)
                                }
    *** 注 *** 
        @ LogCutter.exe 以 Windows 系统服务的方式运行,安装好后也可以通过 Windows 服务管理器进行管理
        @ LogCutter.exe 是 
32 位程序,LogCutter_x64.exe 是 
64 位程序,根据当前系统平台使用其中之一
    C) 单次运行: > run.bat -
1 [ -f config-file ]
2) Linux / Unix
    A) 前台运行: $ run.sh [ -f config-file ]
    B) 后台运行: $ run.sh [ -f config-file ] -d
    C) 单次运行: $ run.sh -
1 [ -f config-file ] [ -d ]
    *** 注 ***
        @ 可以把 run.sh 启动命令加入 /etc/rc.d/rc.
local 中,从而设置为开机时自动运行
--------------------------------------------------

详细说明与使用方法参考:《》

  •  配置文件 
<?
xml version="1.0" encoding="UTF-8"
?>
<
CONFIG    
xmlns
="http://www.jessma.org"
        xmlns:xsi
="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation
="http://www.jessma.org http://www.jessma.org/schema/log-cutter-cfg-2.0.xsd"
>
    
<
global
>
        
<!--
 开始日志检查延时 (小时), 默认: 0 (立刻开始)
        
            1) 当指定为一个整数值时,执行器首次启动延时时间为该值设定的小时数
                (例如:12 小时后首次启动执行器)
                <start-check-delay>12</start-check-delay>
                
            2) 当指定为一个 ‘hh:mm’ 格式的值时,执行器首次启动时间为该时分值
                (例如:12 点 34 分首次启动执行器,如果当前时间超过 12 点 34 分则在明天的 12 点 34 分首次启动执行器)
                <start-check-delay>12:34</start-check-delay>
        
-->
        
<!--
 02 点 30 分首次启动执行器 
-->
        
<
start-check-delay
>02:30
</
start-check-delay
>
        
<!--
 日志检查间隔 (小时), 默认: 72 
-->
        
<
check-interval
></
check-interval
>
        
<!--
 Log4J 配置文件, 默认: ${CLASS_ROOT}/../conf/log4j.properties 
-->
        
<
log4j-config-file
></
log4j-config-file
>
        
<!--
 进程锁文件, 默认: ${CLASS_ROOT}/../${APP_NAME}.lock 
-->
        
<
lock-file
></
lock-file
>
    
</
global
>
    
    
<!--
 要删除的日志文件列表(可配置多个,由 DelFileRunner 执行)
        1) DelFileRunner 会递归删除符合条件的文件夹及其中的所有文件
        2) 注意:在判断是否删除文件夹时,检测的是文件夹的最后修改时间,而不是其中文件的最后修改时间
        3) DelFileRunner 适用于清理 “定期产生新日志文件” 的应用程序日志
    
-->
    
<!--
 delete-files.expire: 日志文件过期时间(天), 默认: 90 
-->
    
<
delete-files 
expire
="30"
>
        
<!--
 file.path: 文件所在目录, 必须填写, 不能包含通配符 
-->
        
<!--
 file: 文件或文件夹名称, 必须填写, 可包含通配符 
-->
        
<
file 
path
="/opt/LogCutter/logs"
>LogCutter.log*
</
file
>
        
<
file 
path
="/opt/hMailServer/Logs"
>*.log
</
file
>
        
<
file 
path
="/opt/tomcat-6.0/logs"
>*.log
</
file
>
    
</
delete-files
>
    
<
delete-files 
expire
="365"
>
        
<
file 
path
="~/backup"
>*
</
file
>
    
</
delete-files
>
    
    
<!--
 要截断的日志文件列表(可配置多个,由 CutFileRunner 执行)
        1) CutFileRunner 只会扫描符合条件的文件,不会扫描文件夹
        2) CutFileRunner 会截断文件的前部内容,保留后部内容
        3) CutFileRunner 适用于清理 “日志文件不断追加增长” 的应用程序日志
    
-->
    
<!--
 cut-files.threshold:    日志文件截断阀值(KB), 默认: 10240 
-->
    
<!--
 cut-files.reserve:        日志文件保留内容(KB), 默认: 1024 
-->
    
<!--
         <!注!> 'cut-files.reserve' 是保留内容的近似值, 实际内容按行取整保留
            如下列日志文件内容:
                  
                 line1: xxxxxxxxxxxxxxxxxxxxx
                 line2: xxxxxxxxxxPyyyyyyyyyy
                 line3: zzzzzzzzzzzzzzzzzzzzz
                 line4: zzzzzzzzzzzzzzzzzzzzz
                    (EOF)
             'P'为定位得到的保留起点, 程序实际会在'P'点开始查找下一个换行符,
             从该换行符的后一个字符开始保留, 也就是从第三行开始保留到文件末尾
    
-->
    
<
cut-files 
threshold
="10240"
 reserve
="512"
>
        
<
file 
path
="/opt/apache-2.2/logs"
>*.log
</
file
>
        
<
file 
path
="/opt/mysql-server-5.1/data"
>*.err
</
file
>
    
</
cut-files
>
    
    
<!--
 要归档的日志文件列表(可配置多个,由 ArcFileRunner 执行)
        1) ArcFileRunner 把符合条件的文件或文件夹压缩归档到指定目录,并删除原文件或文件夹
        2) 归档文件格式:{原文件/文件夹名称}_{系统时间}.zip
        3) 注意:在判断是否归档文件夹时,检测的是文件夹的最后修改时间,而不是其中文件的最后修改时间
        4) ArcFileRunner 适用于清理 “定期产生新日志文件或日志目录” 的应用程序日志
    
-->
    
<!--
 archive-files.expire:            日志文件过期时间(天), 默认: 90 
-->
    
<!--
 archive-files.archive-path:    日志文件归档目录 
-->
    
<
archive-files 
expire
="120"
 archive-path
="~/backup"
>
        
<
file 
path
="/opt/mysql-server-5.1/data"
>mysql-bin.*
</
file
>
    
</
archive-files
>
</
CONFIG
>

Log-Cutter 2.0.1 更新:

1、增加文件归档执行器 ArcFileRunner

    1) ArcFileRunner 把符合条件的文件或文件夹压缩归档到指定目录,并删除原文件或文件夹

    2) 属性 expire 指定归档到期时间,属性 archive-path 指定归档目录
    3) 归档文件格式:{原文件/文件夹名称}_{系统时间}.zip

<!--
 例如:下面的配置把最后修改时间超过 90 天的文件或文件夹归档到 ‘E:\backup’ 目录 
-->
<
archive-files 
archive-path
="E:\backup"
 expire
=90>
    
<file path
="X:\MyApp\logs"
>*
</
file
>
    
<
file 
path
="X:\nginx-1.4.1\logs"
>*.log
</
file
>
</
archive-files
>

2、支持多组文件清理策略

    1) config.xml 可以配置多项 <delete-files>、<cut-files> 或 <archive-files>

    2) 不同的配置项可以使用不同的清理策略参数

<!--
 例如:下面配置的两组归档清理策略中,分别指定不同的归档到期时间和归档目录 
-->
<
archive-files 
archive-path
="E:\backup"
 expire
=90>
    
<file path
="X:\MyApp\logs"
>*
</
file
>
    
<
file 
path
="X:\nginx-1.4.1\logs"
>*.log
</
file
>
</
archive-files
>
<
archive-files 
archive-path
="E:\backup2"
 expire
=300>
    
<file path
="X:\MyApp2\logs"
>*
</
file
>
    
<
file 
path
="X:\Tomcat-6\logs"
>*.log
</
file
>
</
archive-files
>

3、文件删除执行器 DelFileRunner 支持递归删除文件夹

    1) DelFileRunner 会递归删除符合条件的文件夹及其中的所有文件

    2) 注意:在判断是否删除文件夹时,检测的是文件夹的最后修改时间,而不是其中文件的最后修改时间

<!--
 例如:下面的配置会删除 logs 目录下所有最后修改时间超过 90 天的文件或文件夹 
-->
<
delete-files 
expire
=90>
    
<file path
="X:\MyApp\logs"
>*
</
file
>
</
delete-files
>

4、执行器首次启动延时配置 ‘<start-check-delay>’ 支持指定绝对时间

    1) 当指定为一个整数值时,执行器首次启动延时时间为该值设定的小时数

    2) 当指定为一个 ‘hh:mm’ 格式的值时,执行器首次启动时间为该时分值

<!--
(例如)
-->
<!--
 12 小时后首次启动执行器 
-->
<
start-check-delay
>12
</
start-check-delay
>
<!--
 12 点 34 分首次启动执行器,如果当前时间超过 12 点 34 分则在明天的 12 点 34 分首次启动执行器 
-->
<
start-check-delay
>12:34
</
start-check-delay
>

5、增加单次运行模式(running-only-once mode)

    1) 在单次运行模式下,LogCutter 在启动时立刻运行所有执行器,当所有执行器运行完毕后退出程序

    2) 单次运行模式可避免 LogCutter 作为常驻进程一直运行,配合 CronTab 等任务调度器一起使用则能达到定时清理的目的
    3) 在单次运行模式下 运行 LogCutter 会忽略配置文件的 ‘start-check-delay’ 和 ‘check-interval’ 配置项
    4) 通过命令行参数 ‘-1’ 指示使用单次运行模式启动 LogCutter

        (例如)

           Windows : > run.bat -1
        Unix/Linux : > run.sh -1 [ -d ]

6、优化启动脚本 run.sh / run.bat

    1) 只需配置好系统环境变量 ‘JAVA_HOME’(或 ‘JRE_HOME’) 和 ‘CLASSPATH’ 即可通过启动脚本运行 LogCutter

    2) 启动脚本接受命令行参数并传递到 LogCutter 程序中。其中 run.sh 通过额外的参数 ‘-d’ 指示后台运行 LogCutter

转载地址:http://dhrdl.baihongyu.com/

你可能感兴趣的文章
ListView 九宫格布局实现
查看>>
spring aop 声明式事务管理
查看>>
List源码学习之LinkedList
查看>>
Kotlin入门(11)江湖绝技之特殊函数
查看>>
Java生日计算年龄工具
查看>>
设计模式学习笔记(4)——单例模式
查看>>
bootstrap框架的使用
查看>>
POJ 3207 Ikki's Story IV - Panda's Trick
查看>>
JAVA_字节流类
查看>>
HTML5离线应用无法更新的定位与解决
查看>>
我是一个IT民工
查看>>
测试安全感
查看>>
简单的内存控制
查看>>
第十一次会议(5.28)
查看>>
org.tinygroup.templateengine-模板引擎
查看>>
SQL Access Advisor
查看>>
C# PDF Writer
查看>>
如何取未知Json字符串 某个主键取对应的Value
查看>>
第八天敏捷冲刺
查看>>
两两交换链表中的节点
查看>>