Skip to main content

Поднимаем SySlogServer (rsyslog) с кооперацией с logrotate и Zabbix

Общая информация

Уровни и каталогизация логов

В проекте используется несколько уровней раскладки удаленных syslog-сообщений:

  • полный лог по каждому устройству:
    /var/log/remote/<hostname>/all.log
  • раскладка по facility:
    /var/log/remote/<hostname>/facility/<facility>.log
  • раскладка по severity:
    /var/log/remote/<hostname>/severity/<severity>.log

Уровни severity:

  • emerg — авария максимального уровня
  • alert — критичное событие, требующее немедленного внимания
  • crit — критическая ошибка
  • err — ошибка
  • warning — предупреждение
  • notice — важное служебное сообщение
  • info — информационное сообщение
  • debug — отладочное сообщение

Дополнительно формируются отдельные alert-файлы:

  • high.log — все сообщения уровня err и выше
  • cisco-link-down.log — сообщения о падении интерфейсов и line protocol
  • auth-fail.log — ошибки аутентификации, AAA и SSH

Приступим.

Устанавливаем на сервер Ubuntu Server Minimal 24.04
Далее обновляем систему 

sudo apt update
sudo apt upgrade

Устанавливаем сервер rsyslog и каталогизатор logrotate и редактор nano

sudo apt install -y rsyslog logrotate nano

Устанавливаем iputils-ping

sudo apt install iputils-ping

Устанавливаем для теста tcpdump

sudo apt install tcpdump

Подготавливаем папки

sudo mkdir -p /var/log/remote/_alerts
sudo chmod 0755 /var/log/remote

Меняем права на папку

sudo chown -R syslog:syslog /var/log/remote

Запускаем сервис в автозагрузку и смотрим статус 

sudo systemctl enable --now rsyslog
sudo systemctl status rsyslog --no-pager

Создаем файл конфигурации rsyslog

touch /etc/rsyslog.d/10-remote-collector.conf

Открываем конфиг

nano /etc/rsyslog.d/10-remote-collector.conf

Вставляем туда конфиг

# Загружаем модули приема удаленных syslog-сообщений по UDP и TCP
module(load="imudp")
module(load="imtcp")

# Шаблон пути для полного лога по каждому хосту:
# /var/log/remote/<hostname>/all.log
template(name="RemoteAllPath" type="string"
         string="/var/log/remote/%HOSTNAME%/all.log")

# Шаблон пути для раскладки по facility:
# /var/log/remote/<hostname>/facility/<facility>.log
template(name="RemoteFacilityPath" type="string"
         string="/var/log/remote/%HOSTNAME%/facility/%syslogfacility-text%.log")

# Шаблон пути для раскладки по severity:
# /var/log/remote/<hostname>/severity/<severity>.log
template(name="RemoteSeverityPath" type="string"
         string="/var/log/remote/%HOSTNAME%/severity/%syslogseverity-text%.log")

# Отдельный ruleset для всех удаленных сообщений
ruleset(name="RemoteLogs") {

    # Полный лог по каждому устройству
    action(type="omfile"
           dynaFile="RemoteAllPath"
           template="RSYSLOG_TraditionalFileFormat"
           createDirs="on"
           dirCreateMode="0750"
           fileCreateMode="0640"
           dirGroup="syslog"
           fileGroup="syslog")

    # Дополнительно раскладываем сообщения по facility
    action(type="omfile"
           dynaFile="RemoteFacilityPath"
           template="RSYSLOG_TraditionalFileFormat"
           createDirs="on"
           dirCreateMode="0750"
           fileCreateMode="0640"
           dirGroup="syslog"
           fileGroup="syslog")

    # Дополнительно раскладываем сообщения по severity
    action(type="omfile"
           dynaFile="RemoteSeverityPath"
           template="RSYSLOG_TraditionalFileFormat"
           createDirs="on"
           dirCreateMode="0750"
           fileCreateMode="0640"
           dirGroup="syslog"
           fileGroup="syslog")

    # Все сообщения уровня err и выше складываем в единый аварийный файл
    # 0=emerg, 1=alert, 2=crit, 3=err
    if ($syslogseverity <= 3) then {
        action(type="omfile"
               file="/var/log/remote/_alerts/high.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    # Cisco: падение интерфейса или line protocol
    if (($msg contains "LINK-" or $msg contains "LINEPROTO-")
        and
        ($msg contains "down" or $msg contains "changed state to down")) then {
        action(type="omfile"
               file="/var/log/remote/_alerts/cisco-link-down.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    # Ошибки аутентификации, AAA и SSH
    if ($msg contains "LOGIN_FAILED"
        or $msg contains "Failed password"
        or $msg contains "authentication failed"
        or $msg contains "AAA") then {
        action(type="omfile"
               file="/var/log/remote/_alerts/auth-fail.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    # Останавливаем дальнейшую обработку этого сообщения
    stop
}

# Слушаем UDP/514 и отправляем сообщения в ruleset RemoteLogs
input(type="imudp" port="514" ruleset="RemoteLogs")

# Слушаем TCP/514 и отправляем сообщения в ruleset RemoteLogs
input(type="imtcp" port="514" ruleset="RemoteLogs")

Проверяем и перезапускаем

sudo rsyslogd -N1
sudo systemctl restart rsyslog
sudo systemctl status rsyslog --no-pager

Проверка, что открыт прием syslog на 514 порту

sudo ss -ulpn | grep ':514'
sudo ss -tlpn | grep ':514'

Проверка, что создаются файлы логов

sudo find /var/log/remote -type f | sort

После получения первых сообщений должны появляться файлы вида:

  • /var/log/remote/<hostname>/all.log
  • /var/log/remote/<hostname>/facility/...
  • /var/log/remote/<hostname>/severity/...
  • /var/log/remote/_alerts/high.log

Проверка alert-файла high.log

logger -p user.err -t TEST "Проверка записи в high.log"

Потом проверим файл:

sudo tail -n 20 /var/log/remote/_alerts/high.log

С другого Linux-узла в сети можно отправить тестовое сообщение на syslog-сервер:

logger --server <IP_SYSLOG_SERVER> --udp --port 514 -t TEST "Проверка удаленного syslog по UDP"

Для TCP:

logger --server <IP_SYSLOG_SERVER> --tcp --port 514 -t TEST "Проверка удаленного syslog по TCP"

После отправки сообщения нужно проверить, появился ли каталог соответствующего хоста и записался ли лог:

sudo find /var/log/remote -type f | sort
sudo tail -n 20 /var/log/remote/<hostname>/all.log

Создаем файл конфига для logrotate

touch /etc/logrotate.d/remote-syslog

Открываем его

nano /etc/logrotate.d/remote-syslog

Вставляем

/var/log/remote/*/*.log /var/log/remote/*/*/*.log /var/log/remote/_alerts/*.log {
    daily
    rotate 30
    missingok
    notifempty
    compress
    delaycompress
    dateext
    dateyesterday
    dateformat -%Y%m%d
    sharedscripts
    postrotate
        systemctl kill -s HUP rsyslog >/dev/null 2>&1 || true
    endscript
}

Для архивных логов используется именование по дате предыдущего дня.
Это позволяет видеть, за какой именно день был сформирован архивный файл, например all.log-20260413.gz, а не использовать только числовые индексы .1, .2 и т.д.

Проверяем

sudo logrotate -d /etc/logrotate.d/remote-syslog
sudo logrotate -f /etc/logrotate.d/remote-syslog

Ставим Zabbix агент (качаем пакет подключения репозитория, подключаем репозиторий через установку пакета, обновляем репозитории и устанавливаем агент)

wget https://repo.zabbix.com/zabbix/7.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_latest_7.0+ubuntu24.04_all.deb
sudo dpkg -i zabbix-release_latest_7.0+ubuntu24.04_all.deb
sudo apt update
sudo apt install -y zabbix-agent2

Добавляем в группу syslog пользователя zabbix (что бы можно было читать log файлы)

sudo usermod -aG syslog zabbix

Открываем файл настройки агента

sudo nano /etc/zabbix/zabbix_agent2.conf

Вставляем следующее в соответствующих разделах

# Кто имеет право опрашивать агент по passive checks.
# Разрешаем подключения от серверов и/или proxy из сети 10.10.99.0/24
Server=10.10.99.0/24

# Куда агент сам будет подключаться за active checks
# и куда будет отправлять данные по active items
ServerActive=10.10.99.7:10051;10.10.99.8:10051

# Имя этого хоста в Zabbix.
# Должно совпадать с именем хоста, созданного в веб-интерфейсе Zabbix
Hostname=syslog-collector

Добавляем в автозагрузку 

sudo systemctl enable --now zabbix-agent2

Перезагружаем и проверяем

sudo systemctl restart zabbix-agent2
sudo systemctl status zabbix-agent2 --no-pager