Skip to main content

Поднимаем SySlogServer (rsyslog) с кооперацией с logrotate и Zabbix

Общая информация

Уровни и каталогизация логов

В проекте используется несколько уровней раскладки удаленных syslog-сообщений:

  • полный лог по каждому устройству:
    /var/log/remote/<hostname>/all.log
  • раскладка по facility:
    /var/log/remote/<hostname>/facility/<facility>.log
  • раскладка по severity:
    /var/log/remote/<hostname>/severity/<severity>.log

Уровни severity:

  • emerg — авария максимального уровня
  • alert — критичное событие, требующее немедленного внимания
  • crit — критическая ошибка
  • err — ошибка
  • warning — предупреждение
  • notice — важное служебное сообщение
  • info — информационное сообщение
  • debug — отладочное сообщение

Дополнительно формируются отдельные alert-файлы:

  • high.log — все сообщения уровня err и выше
  • cisco-link-down.log — сообщения о падении интерфейсов и line protocol
  • auth-fail.log — ошибки аутентификации, AAA и SSH

Общая логика

Обычные события вида %LINK-3-UPDOWN и %LINEPROTO-5-UPDOWN лучше оставлять для истории и разбора, а не делать на них основную тревожную логику через syslog, потому что состояние интерфейсов Zabbix и так хорошо видит напрямую. Через syslog есть смысл забирать именно то, что плохо видно стандартными шаблонами: срабатывания защит второго уровня сети, перемещение MAC-адресов, частые изменения дерева STP и похожие аномалии.

Какие события предлагается мониторить

1. Сразу авария

Эти сообщения я бы поднимал в Zabbix сразу, без накопления:

  • PM-4-ERR_DISABLE — порт переведен в аварийную блокировку err-disable. Это уже не просто потеря линка, а именно защитная реакция коммутатора.
  • SPANTREE-2-BLOCK_BPDUGUARD — на порт с BPDU Guard пришел BPDU, и Cisco отключила интерфейс. Для пользовательских портов это очень сильный признак неправильного подключения.
  • UDLD-4-UDLD_PORT_DISABLED — UDLD отключил интерфейс из-за ненормального состояния линии. Особенно полезно на оптике и межкоммутаторных связях.
  • SPANTREE-2-CHNL_MISCFG — обнаружена петля из-за неправильной настройки EtherChannel. Это очень ценный сигнал для межкоммутаторных связей.
  • STORM_CONTROL-3-SHUTDOWN — storm-control уже довел ситуацию до отключения порта.

2. Сразу предупреждение

Эти сообщения тоже важны, но не всегда означают немедленную потерю связи:

  • SPANTREE-2-LOOPGUARD_BLOCK — Loop Guard заблокировал порт, потому что перестали приходить BPDU, которые должны были приходить. Это не err-disable, но очень серьезный симптом.
  • SPANTREE-2-ROOTGUARD_BLOCK — Root Guard заблокировал порт, чтобы не допустить нежелательную смену корневого коммутатора.
  • STORM_CONTROL-3-FILTERED — коммутатор уже режет лишний трафик, хотя порт еще не отключен. Это хороший ранний индикатор шторма.

3. Считать за интервал

Эти события я бы не поднимал как немедленную аварию по одному сообщению, а именно считал за 5–10 минут:

  • MAC_MOVE-4-NOTIF — один и тот же MAC-адрес появляется на разных портах. Это один из лучших признаков петли, неправильной коммутации или нестабильного поведения на втором уровне.
  • SPANTREE-5-TOPOTRAP — произошло изменение топологии STP. Однократное событие может быть допустимым, частая серия — уже подозрительна.
  • SPANTREE-5-ROOTCHANGE — изменился корневой путь или корневой коммутатор для экземпляра STP. Повторяемость такого события — сильный симптом нестабильности.

Практически я бы стартовал с таких порогов:

  • MAC_MOVE-4-NOTIF: 2 за 5 минут — предупреждение, 5 за 5 минут — высокая важность.
  • SPANTREE-5-TOPOTRAP: 5 за 5 минут — предупреждение, 15 за 5 минут — высокая важность.
  • SPANTREE-5-ROOTCHANGE: 1 за 10 минут — предупреждение, 2 за 10 минут — высокая важность.

Это уже не правило Cisco, а разумная начальная схема, чтобы не утонуть в шуме.


Теперь главное: что такое log[], logrt[], log.count[] и logrt.count[]

Zabbix прямо разделяет мониторинг журналов на четыре основных ключа. Все они относятся к мониторингу журналов и должны быть настроены как активные проверки агента — то есть тип элемента данных должен быть Zabbix agent (active). Для работы нужны сам агент на узле и корректно заданный ServerActive; для log[] и logrt[] еще важны права чтения файла для пользователя zabbix.

log[]

log[] используется для обычного файла журнала без ротации. Он читает новые строки, ищет совпадение по регулярному выражению и отправляет в Zabbix саму строку журнала. Тип данных для такого элемента — обычно Log. Если задать параметр output, можно отправлять не всю строку, а только извлеченную часть или преобразованное содержимое. Если вручную выбрать не тип Log, а, например, числовой, Zabbix предупреждает, что тогда потеряется локальная отметка времени журнала.

Когда это удобно:

  • когда у тебя есть один конкретный файл, например /var/log/alerts.log;
  • когда важно видеть сам текст события в Zabbix;
  • когда нужно строить триггер по наличию конкретной строки.

Пример идеи:

log[/var/log/cisco/alerts_critical.log,"PM-4-ERR_DISABLE|SPANTREE-2-BLOCK_BPDUGUARD"]

logrt[]

logrt[] — это почти то же самое, но для журналов с ротацией. Zabbix ищет не один файл, а набор файлов по шаблону имени и отслеживает текущий активный файл плюс ротированные. Документация отдельно подчеркивает, что logrt[] рассчитан на один активный журнал и несколько старых ротированных, а не на множество одновременно активно пишущихся файлов. Если один logrt[] начнет охватывать слишком много активных файлов, это может привести к избыточному расходу памяти и проблемам мониторинга. Ротация для logrt[] определяется по времени изменения файлов.

Когда это удобно:

  • когда у тебя rsyslog или logrotate переименовывает файлы;
  • когда сегодня пишется alerts.log, а завтра появится alerts.log-2026-04-23 или похожий вариант;
  • когда не хочешь потерять события при ротации.

Пример идеи:

logrt[/var/log/remote/.*/alerts_critical\.log,"PM-4-ERR_DISABLE|SPANTREE-2-BLOCK_BPDUGUARD"]

log.count[]

log.count[] нужен не для чтения текста строки, а для подсчета количества совпадений в обычном, не ротируемом журнале. Возвращаемый тип данных — целое без знака. Документация отдельно пишет, что считаются совпадения в новых строках с момента предыдущей проверки агента, поэтому результат зависит от интервала обновления элемента.

Когда это удобно:

  • когда тебе не нужно хранить в значении сам текст события;
  • когда важна именно частота;
  • когда строишь пороги типа “5 событий за 5 минут”.

Пример идеи:

log.count[/var/log/cisco/alerts_behavior.log,"MAC_MOVE-4-NOTIF"]

logrt.count[]

logrt.count[] — это подсчет совпадений, но уже для ротируемых журналов. По сути, это самый удобный ключ для накопительных событий в syslog-схеме, где журналы ежедневно или еженедельно переименовываются. Как и log.count[], он считает совпадения в новых строках с момента предыдущей проверки, поэтому поведение тоже зависит от интервала опроса.

Когда это удобно:

  • когда файл ротируется;
  • когда нужны не строки, а число событий за интервал;
  • когда мониторишь повторяемость MAC_MOVE, TOPOTRAP, ROOTCHANGE.

Пример идеи:

logrt.count[/var/log/remote/.*/alerts_behavior\.log,"MAC_MOVE-4-NOTIF|SPANTREE-5-TOPOTRAP|SPANTREE-5-ROOTCHANGE"]

Что из этого лучше выбрать

Для немедленных аварийных событий — logrt[]

Почему именно так: тебе важно не количество, а сам факт и текст события. По одному сообщению PM-4-ERR_DISABLE или SPANTREE-2-BLOCK_BPDUGUARD уже можно сразу открывать проблему.

Под это я бы выделил файл, например alerts_critical.log, и читал его через logrt[].

Подходящая группа сообщений:

PM-4-ERR_DISABLE|SPANTREE-2-BLOCK_BPDUGUARD|UDLD-4-UDLD_PORT_DISABLED|SPANTREE-2-CHNL_MISCFG|STORM_CONTROL-3-SHUTDOWN

Для важных, но не максимальных событий — тоже logrt[]

Тут логика такая же: событие само по себе уже полезно и его хочется видеть как отдельную запись.

Для файла, например alerts_warning.log:

SPANTREE-2-LOOPGUARD_BLOCK|SPANTREE-2-ROOTGUARD_BLOCK|STORM_CONTROL-3-FILTERED

Для накопительных признаков — logrt.count[]

Вот здесь уже удобнее не тащить каждый текст в отдельный problem event, а считать количество.

Для файла alerts_behavior.log:

MAC_MOVE-4-NOTIF|SPANTREE-5-TOPOTRAP|SPANTREE-5-ROOTCHANGE

И дальше уже делать триггеры по числу совпадений за интервал.

Важные нюансы по работе этих ключей

Есть несколько моментов, которые реально влияют на поведение.

Во-первых, для всех ключей мониторинга журналов Zabbix требует активную проверку агента. То есть эти элементы нужно создавать не как обычный Zabbix agent, а именно как Zabbix agent (active).

Во-вторых, log[] и logrt[] возвращают либо строку журнала, либо результат, сформированный через параметр output. А log.count[] и logrt.count[] возвращают только число совпадений.

В-третьих, и log.count[], и logrt.count[] считают совпадения только в строках, появившихся с момента предыдущей проверки, поэтому итог зависит от интервала обновления. Иными словами, если поставить интервал 60 секунд, ты будешь получать число совпадений за последнюю минуту; если 10 секунд — за последние 10 секунд.

В-четвертых, logrt[] и logrt.count[] стоит использовать именно там, где файл ротируется. Zabbix отслеживает такие файлы по времени изменения, а также ведет внутренние счетчики размера и состояния чтения, чтобы не начинать разбор с нуля каждый раз. Для Linux дополнительно используются inode, для Windows — файловые индексы.

В-пятых, если журналов много и они все активно пишутся, не надо пытаться одной маской logrt[] охватить весь мир. Документация прямо предупреждает, что logrt[] рассчитан на один активный журнал и несколько ротированных копий; если под одну маску попадет слишком много активных файлов, это может создать проблемы.

Как это оформить

В практическом виде я бы предложил три файла и три группы элементов.

1. Аварийные события

Файл:

/var/log/remote/<host>/alerts_critical.log

Элемент:

logrt[/var/log/remote/.*/alerts_critical\.log,"PM-4-ERR_DISABLE|SPANTREE-2-BLOCK_BPDUGUARD|UDLD-4-UDLD_PORT_DISABLED|SPANTREE-2-CHNL_MISCFG|STORM_CONTROL-3-SHUTDOWN"]

Смысл: по каждой строке сразу открывается проблема.

2. Предупреждения

Файл:

/var/log/remote/<host>/alerts_warning.log

Элемент:

logrt[/var/log/remote/.*/alerts_warning\.log,"SPANTREE-2-LOOPGUARD_BLOCK|SPANTREE-2-ROOTGUARD_BLOCK|STORM_CONTROL-3-FILTERED"]

Смысл: тоже читать сами строки, но делать менее высокий уровень важности.

3. Накопительные признаки

Файл:

/var/log/remote/<host>/alerts_behavior.log

Элемент:

logrt.count[/var/log/remote/.*/alerts_behavior\.log,"MAC_MOVE-4-NOTIF|SPANTREE-5-TOPOTRAP|SPANTREE-5-ROOTCHANGE"]

И уже отдельные элементы под каждый тип, если хочешь разные пороги:

logrt.count[/var/log/remote/.*/alerts_behavior\.log,"MAC_MOVE-4-NOTIF"]
logrt.count[/var/log/remote/.*/alerts_behavior\.log,"SPANTREE-5-TOPOTRAP"]
logrt.count[/var/log/remote/.*/alerts_behavior\.log,"SPANTREE-5-ROOTCHANGE"]

Так даже удобнее, потому что триггеры будут понятнее.


Итоговая рекомендация

Если сформулировать совсем практично:

  • log[] — читать строки из одного обычного файла журнала.
  • logrt[] — читать строки из файла журнала с ротацией.
  • log.count[] — считать количество совпадений в одном обычном файле.
  • logrt.count[] — считать количество совпадений в ротируемом журнале.

Для твоего syslog-сервера почти наверняка базовым выбором будут именно logrt[] и logrt.count[], потому что журналы у тебя ротируются.
logrt[] хорошо подходит для событий, которые нужно поднимать сразу.
logrt.count[] — для MAC flapping, частых перестроений STP и похожих повторяющихся признаков.

Приступим.

Устанавливаем на сервер Ubuntu Server Minimal 24.04
Далее обновляем систему 

sudo apt update
sudo apt upgrade

Устанавливаем сервер rsyslog и каталогизатор logrotate и редактор nano

sudo apt install -y rsyslog logrotate nano

Устанавливаем iputils-ping

sudo apt install iputils-ping

Устанавливаем для теста tcpdump

sudo apt install tcpdump

Что бы работала автоподстановка устанавливаем 

sudo apt install bash-completion

Подготавливаем папки

sudo mkdir -p /var/log/remote/_alerts
sudo chmod 0755 /var/log/remote

Меняем права на папку

sudo chown -R syslog:syslog /var/log/remote

Запускаем сервис в автозагрузку и смотрим статус 

sudo systemctl enable --now rsyslog
sudo systemctl status rsyslog --no-pager

Создаем файл конфигурации rsyslog

touch /etc/rsyslog.d/10-remote-collector.conf

Открываем конфиг

nano /etc/rsyslog.d/10-remote-collector.conf

Вставляем туда конфиг

# Загружаем модули приема удаленных syslog-сообщений по UDP и TCP
module(load="imudp")
module(load="imtcp")

# Шаблон пути для полного лога по каждому хосту:
# /var/log/remote/<hostname>/all.log
template(name="RemoteAllPath" type="string"
         string="/var/log/remote/%HOSTNAME%/all.log")

# Шаблон пути для раскладки по facility:
# /var/log/remote/<hostname>/facility/<facility>.log
template(name="RemoteFacilityPath" type="string"
         string="/var/log/remote/%HOSTNAME%/facility/%syslogfacility-text%.log")

# Шаблон пути для раскладки по severity:
# /var/log/remote/<hostname>/severity/<severity>.log
template(name="RemoteSeverityPath" type="string"
         string="/var/log/remote/%HOSTNAME%/severity/%syslogseverity-text%.log")

ruleset(name="RemoteLogs") {

    # Полный лог по устройству
    action(type="omfile"
           dynaFile="RemoteAllPath"
           template="RSYSLOG_TraditionalFileFormat"
           createDirs="on"
           dirCreateMode="0750"
           fileCreateMode="0640"
           dirGroup="syslog"
           fileGroup="syslog")

    # Раскладка по facility
    action(type="omfile"
           dynaFile="RemoteFacilityPath"
           template="RSYSLOG_TraditionalFileFormat"
           createDirs="on"
           dirCreateMode="0750"
           fileCreateMode="0640"
           dirGroup="syslog"
           fileGroup="syslog")

    # Раскладка по severity
    action(type="omfile"
           dynaFile="RemoteSeverityPath"
           template="RSYSLOG_TraditionalFileFormat"
           createDirs="on"
           dirCreateMode="0750"
           fileCreateMode="0640"
           dirGroup="syslog"
           fileGroup="syslog")

    # Общий технический файл ошибок — можно оставить как вспомогательный
    if ($syslogseverity <= 3) then {
        action(type="omfile"
               file="/var/log/remote/_alerts/high.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    # 1. Немедленная авария
    if ($msg contains "PM-4-ERR_DISABLE"
        or $msg contains "SPANTREE-2-BLOCK_BPDUGUARD"
        or $msg contains "UDLD-4-UDLD_PORT_DISABLED"
        or $msg contains "SPANTREE-2-CHNL_MISCFG"
        or $msg contains "STORM_CONTROL-3-SHUTDOWN") then {
        action(type="omfile"
               file="/var/log/remote/_alerts/alerts_critical.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    # 2. Немедленное предупреждение
    if ($msg contains "SPANTREE-2-LOOPGUARD_BLOCK"
        or $msg contains "SPANTREE-2-ROOTGUARD_BLOCK"
        or $msg contains "STORM_CONTROL-3-FILTERED") then {
        action(type="omfile"
               file="/var/log/remote/_alerts/alerts_warning.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    # 3. Накопительные признаки
    if ($msg contains "MAC_MOVE-4-NOTIF"
        or $msg contains "SPANTREE-5-TOPOTRAP"
        or $msg contains "SPANTREE-5-ROOTCHANGE") then {
        action(type="omfile"
               file="/var/log/remote/_alerts/alerts_behavior.log"
               template="RSYSLOG_TraditionalFileFormat"
               createDirs="on"
               dirCreateMode="0750"
               fileCreateMode="0640"
               dirGroup="syslog"
               fileGroup="syslog")
    }

    stop
}

input(type="imudp" port="514" ruleset="RemoteLogs")
input(type="imtcp" port="514" ruleset="RemoteLogs")

Проверяем и перезапускаем

sudo rsyslogd -N1
sudo systemctl restart rsyslog
sudo systemctl status rsyslog --no-pager

Проверка, что открыт прием syslog на 514 порту

sudo ss -ulpn | grep ':514'
sudo ss -tlpn | grep ':514'

Проверка, что создаются файлы логов

sudo find /var/log/remote -type f | sort

После получения первых сообщений должны появляться файлы вида:

  • /var/log/remote/<hostname>/all.log
  • /var/log/remote/<hostname>/facility/...
  • /var/log/remote/<hostname>/severity/...
  • /var/log/remote/_alerts/high.log

Проверка alert-файла high.log

logger -p user.err -t TEST "Проверка записи в high.log"

Потом проверим файл:

sudo tail -n 20 /var/log/remote/_alerts/high.log

С другого Linux-узла в сети можно отправить тестовое сообщение на syslog-сервер:

logger --server <IP_SYSLOG_SERVER> --udp --port 514 -t TEST "Проверка удаленного syslog по UDP"

Для TCP:

logger --server <IP_SYSLOG_SERVER> --tcp --port 514 -t TEST "Проверка удаленного syslog по TCP"

После отправки сообщения нужно проверить, появился ли каталог соответствующего хоста и записался ли лог:

sudo find /var/log/remote -type f | sort
sudo tail -n 20 /var/log/remote/<hostname>/all.log

Создаем файл конфига для logrotate

touch /etc/logrotate.d/remote-syslog

Открываем его

nano /etc/logrotate.d/remote-syslog

Вставляем

/var/log/remote/*/*.log /var/log/remote/*/*/*.log /var/log/remote/_alerts/*.log {
    daily
    rotate 30
    missingok
    notifempty
    compress
    delaycompress
    dateext
    dateyesterday
    dateformat -%Y%m%d
    sharedscripts
    postrotate
        systemctl kill -s HUP rsyslog >/dev/null 2>&1 || true
    endscript
}

Для архивных логов используется именование по дате предыдущего дня.
Это позволяет видеть, за какой именно день был сформирован архивный файл, например all.log-20260413.gz, а не использовать только числовые индексы .1, .2 и т.д.

Проверяем

sudo logrotate -d /etc/logrotate.d/remote-syslog
sudo logrotate -f /etc/logrotate.d/remote-syslog

Ставим Zabbix агент (качаем пакет подключения репозитория, подключаем репозиторий через установку пакета, обновляем репозитории и устанавливаем агент)

wget https://repo.zabbix.com/zabbix/7.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_latest_7.0+ubuntu24.04_all.deb
sudo dpkg -i zabbix-release_latest_7.0+ubuntu24.04_all.deb
sudo apt update
sudo apt install -y zabbix-agent2

Добавляем в группу syslog пользователя zabbix (что бы можно было читать log файлы)

sudo usermod -aG syslog zabbix

Открываем файл настройки агента

sudo nano /etc/zabbix/zabbix_agent2.conf

Вставляем следующее в соответствующих разделах

# Кто имеет право опрашивать агент по passive checks.
# Разрешаем подключения от серверов и/или proxy из сети 10.10.99.0/24
Server=10.10.99.0/24

# Куда агент сам будет подключаться за active checks
# и куда будет отправлять данные по active items
ServerActive=10.10.99.7:10051;10.10.99.8:10051

# Имя этого хоста в Zabbix.
# Должно совпадать с именем хоста, созданного в веб-интерфейсе Zabbix
Hostname=syslog-collector

Добавляем в автозагрузку 

sudo systemctl enable --now zabbix-agent2

Перезагружаем и проверяем

sudo systemctl restart zabbix-agent2
sudo systemctl status zabbix-agent2 --no-pager