Linux 日志

如何对Python多进程日志输出按日期切割？

参考答案：

在Python中，要实现多进程日志输出并按日期切割，你需要结合使用Python的logging模块和logrotate工具（通常在Linux系统上使用）。logging模块用于在Python程序中记录日志，而logrotate则用于管理系统日志文件的切割和轮转。

下面是一个基本的步骤指南：

1. 设置Python的日志记录

首先，你需要在Python程序中设置日志记录。这通常涉及创建一个日志记录器（logger），一个或多个处理器（handler），以及一个格式器（formatter）。

import logging
import logging.handlers
import os

# 创建一个日志记录器
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)

# 创建一个按日期切割的日志处理器
log_dir = '/path/to/logs'  # 日志文件存储的目录
if not os.path.exists(log_dir):
    os.makedirs(log_dir)
log_file = os.path.join(log_dir, 'my_app.log')
handler = logging.handlers.TimedRotatingFileHandler(log_file, when='D', interval=1, backupCount=7)

# 创建一个日志格式器并添加到处理器中
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

# 将处理器添加到记录器中
logger.addHandler(handler)

在这个例子中，我们使用了TimedRotatingFileHandler，它可以根据指定的时间间隔（在这个例子中是每天）来切割日志文件。backupCount参数指定了要保留的备份文件的数量（在这个例子中是7天）。

2. 在多进程环境中使用日志记录器

在多进程环境中，你需要确保每个进程都有自己的日志记录器实例，并且它们都使用相同的日志处理器配置。这可以通过将日志配置封装在一个函数中，并在每个进程启动时调用这个函数来实现。

3. 使用logrotate进行日志切割

虽然Python的logging模块提供了基本的日志切割功能，但在生产环境中，你可能还需要使用更强大的工具来管理日志文件，比如logrotate。logrotate可以根据文件大小、时间或其他条件来切割、压缩、删除和邮件日志文件。

你需要在系统上安装并配置logrotate。下面是一个简单的logrotate配置文件示例，用于每天切割/path/to/logs/my_app.log文件，并保留最近的7个备份：

/path/to/logs/my_app.log {
    daily                 # 每天切割
    rotate 7              # 保留7个备份
    missingok             # 如果日志文件丢失，不报错
    notifempty            # 如果日志文件为空，不切割
    compress              # 压缩旧的日志文件
    delaycompress         # 在下一次切割之前不压缩
    create 0640 root adm  # 创建新的日志文件，权限为0640，所有者为root，组为adm
    sharedscripts         # 如果多个日志文件需要切割，只运行一次脚本（比如postrotate/endscript中的命令）
    postrotate            # 在切割后运行的命令（比如重启服务）
        # 在这里添加你需要在切割后运行的命令，比如重启你的Python应用
    endscript
}

然后，你需要配置系统的cron任务来定期运行logrotate。这通常是通过在/etc/cron.daily/目录下创建一个名为logrotate的符号链接来实现的，该链接指向logrotate的配置文件目录（通常是/etc/logrotate.d/）。

请注意，具体的配置可能会根据你的系统和需求而有所不同。你应该根据你的实际情况调整这些配置。