Поднимаем SySlogServer (rsyslog) с кооперацией с logrotate и Zabbix
Общая информация
Уровни и каталогизация логов
В проекте используется несколько уровней раскладки удаленных syslog-сообщений:
- полный лог по каждому устройству:
/var/log/remote/<hostname>/all.log - раскладка по facility:
/var/log/remote/<hostname>/facility/<facility>.log - раскладка по severity:
/var/log/remote/<hostname>/severity/<severity>.log
Уровни severity:
emerg— авария максимального уровняalert— критичное событие, требующее немедленного вниманияcrit— критическая ошибкаerr— ошибкаwarning— предупреждениеnotice— важное служебное сообщениеinfo— информационное сообщениеdebug— отладочное сообщение
Дополнительно формируются отдельные alert-файлы:
high.log— все сообщения уровняerrи вышеcisco-link-down.log— сообщения о падении интерфейсов и line protocolauth-fail.log— ошибки аутентификации, AAA и SSH
Общая логика
Обычные события вида %LINK-3-UPDOWN и %LINEPROTO-5-UPDOWN лучше оставлять для истории и разбора, а не делать на них основную тревожную логику через syslog, потому что состояние интерфейсов Zabbix и так хорошо видит напрямую. Через syslog есть смысл забирать именно то, что плохо видно стандартными шаблонами: срабатывания защит второго уровня сети, перемещение MAC-адресов, частые изменения дерева STP и похожие аномалии.
Какие события предлагается мониторить
1. Сразу авария
Эти сообщения я бы поднимал в Zabbix сразу, без накопления:
PM-4-ERR_DISABLE— порт переведен в аварийную блокировкуerr-disable. Это уже не просто потеря линка, а именно защитная реакция коммутатора.SPANTREE-2-BLOCK_BPDUGUARD— на порт с BPDU Guard пришел BPDU, и Cisco отключила интерфейс. Для пользовательских портов это очень сильный признак неправильного подключения.UDLD-4-UDLD_PORT_DISABLED— UDLD отключил интерфейс из-за ненормального состояния линии. Особенно полезно на оптике и межкоммутаторных связях.SPANTREE-2-CHNL_MISCFG— обнаружена петля из-за неправильной настройки EtherChannel. Это очень ценный сигнал для межкоммутаторных связей.STORM_CONTROL-3-SHUTDOWN— storm-control уже довел ситуацию до отключения порта.
2. Сразу предупреждение
Эти сообщения тоже важны, но не всегда означают немедленную потерю связи:
SPANTREE-2-LOOPGUARD_BLOCK— Loop Guard заблокировал порт, потому что перестали приходить BPDU, которые должны были приходить. Это неerr-disable, но очень серьезный симптом.SPANTREE-2-ROOTGUARD_BLOCK— Root Guard заблокировал порт, чтобы не допустить нежелательную смену корневого коммутатора.STORM_CONTROL-3-FILTERED— коммутатор уже режет лишний трафик, хотя порт еще не отключен. Это хороший ранний индикатор шторма.
3. Считать за интервал
Эти события я бы не поднимал как немедленную аварию по одному сообщению, а именно считал за 5–10 минут:
MAC_MOVE-4-NOTIF— один и тот же MAC-адрес появляется на разных портах. Это один из лучших признаков петли, неправильной коммутации или нестабильного поведения на втором уровне.SPANTREE-5-TOPOTRAP— произошло изменение топологии STP. Однократное событие может быть допустимым, частая серия — уже подозрительна.SPANTREE-5-ROOTCHANGE— изменился корневой путь или корневой коммутатор для экземпляра STP. Повторяемость такого события — сильный симптом нестабильности.
Практически я бы стартовал с таких порогов:
MAC_MOVE-4-NOTIF: 2 за 5 минут — предупреждение, 5 за 5 минут — высокая важность.SPANTREE-5-TOPOTRAP: 5 за 5 минут — предупреждение, 15 за 5 минут — высокая важность.SPANTREE-5-ROOTCHANGE: 1 за 10 минут — предупреждение, 2 за 10 минут — высокая важность.
Это уже не правило Cisco, а разумная начальная схема, чтобы не утонуть в шуме.
Теперь главное: что такое log[], logrt[], log.count[] и logrt.count[]
Zabbix прямо разделяет мониторинг журналов на четыре основных ключа. Все они относятся к мониторингу журналов и должны быть настроены как активные проверки агента — то есть тип элемента данных должен быть Zabbix agent (active). Для работы нужны сам агент на узле и корректно заданный ServerActive; для log[] и logrt[] еще важны права чтения файла для пользователя zabbix.
log[]
log[] используется для обычного файла журнала без ротации. Он читает новые строки, ищет совпадение по регулярному выражению и отправляет в Zabbix саму строку журнала. Тип данных для такого элемента — обычно Log. Если задать параметр output, можно отправлять не всю строку, а только извлеченную часть или преобразованное содержимое. Если вручную выбрать не тип Log, а, например, числовой, Zabbix предупреждает, что тогда потеряется локальная отметка времени журнала.
Когда это удобно:
- когда у тебя есть один конкретный файл, например
/var/log/alerts.log; - когда важно видеть сам текст события в Zabbix;
- когда нужно строить триггер по наличию конкретной строки.
Пример идеи:
logrt[]
logrt[] — это почти то же самое, но для журналов с ротацией. Zabbix ищет не один файл, а набор файлов по шаблону имени и отслеживает текущий активный файл плюс ротированные. Документация отдельно подчеркивает, что logrt[] рассчитан на один активный журнал и несколько старых ротированных, а не на множество одновременно активно пишущихся файлов. Если один logrt[] начнет охватывать слишком много активных файлов, это может привести к избыточному расходу памяти и проблемам мониторинга. Ротация для logrt[] определяется по времени изменения файлов.
Когда это удобно:
- когда у тебя
rsyslogилиlogrotateпереименовывает файлы; - когда сегодня пишется
alerts.log, а завтра появитсяalerts.log-2026-04-23или похожий вариант; - когда не хочешь потерять события при ротации.
Пример идеи:
log.count[]
log.count[] нужен не для чтения текста строки, а для подсчета количества совпадений в обычном, не ротируемом журнале. Возвращаемый тип данных — целое без знака. Документация отдельно пишет, что считаются совпадения в новых строках с момента предыдущей проверки агента, поэтому результат зависит от интервала обновления элемента.
Когда это удобно:
- когда тебе не нужно хранить в значении сам текст события;
- когда важна именно частота;
- когда строишь пороги типа “5 событий за 5 минут”.
Пример идеи:
logrt.count[]
logrt.count[] — это подсчет совпадений, но уже для ротируемых журналов. По сути, это самый удобный ключ для накопительных событий в syslog-схеме, где журналы ежедневно или еженедельно переименовываются. Как и log.count[], он считает совпадения в новых строках с момента предыдущей проверки, поэтому поведение тоже зависит от интервала опроса.
Когда это удобно:
- когда файл ротируется;
- когда нужны не строки, а число событий за интервал;
- когда мониторишь повторяемость
MAC_MOVE,TOPOTRAP,ROOTCHANGE.
Пример идеи:
Что из этого лучше выбрать
Для немедленных аварийных событий — logrt[]
Почему именно так: тебе важно не количество, а сам факт и текст события. По одному сообщению PM-4-ERR_DISABLE или SPANTREE-2-BLOCK_BPDUGUARD уже можно сразу открывать проблему.
Под это я бы выделил файл, например alerts_critical.log, и читал его через logrt[].
Подходящая группа сообщений:
Для важных, но не максимальных событий — тоже logrt[]
Тут логика такая же: событие само по себе уже полезно и его хочется видеть как отдельную запись.
Для файла, например alerts_warning.log:
Для накопительных признаков — logrt.count[]
Вот здесь уже удобнее не тащить каждый текст в отдельный problem event, а считать количество.
Для файла alerts_behavior.log:
И дальше уже делать триггеры по числу совпадений за интервал.
Важные нюансы по работе этих ключей
Есть несколько моментов, которые реально влияют на поведение.
Во-первых, для всех ключей мониторинга журналов Zabbix требует активную проверку агента. То есть эти элементы нужно создавать не как обычный Zabbix agent, а именно как Zabbix agent (active).
Во-вторых, log[] и logrt[] возвращают либо строку журнала, либо результат, сформированный через параметр output. А log.count[] и logrt.count[] возвращают только число совпадений.
В-третьих, и log.count[], и logrt.count[] считают совпадения только в строках, появившихся с момента предыдущей проверки, поэтому итог зависит от интервала обновления. Иными словами, если поставить интервал 60 секунд, ты будешь получать число совпадений за последнюю минуту; если 10 секунд — за последние 10 секунд.
В-четвертых, logrt[] и logrt.count[] стоит использовать именно там, где файл ротируется. Zabbix отслеживает такие файлы по времени изменения, а также ведет внутренние счетчики размера и состояния чтения, чтобы не начинать разбор с нуля каждый раз. Для Linux дополнительно используются inode, для Windows — файловые индексы.
В-пятых, если журналов много и они все активно пишутся, не надо пытаться одной маской logrt[] охватить весь мир. Документация прямо предупреждает, что logrt[] рассчитан на один активный журнал и несколько ротированных копий; если под одну маску попадет слишком много активных файлов, это может создать проблемы.
Как это оформить
В практическом виде я бы предложил три файла и три группы элементов.
1. Аварийные события
Файл:
Элемент:
Смысл: по каждой строке сразу открывается проблема.
2. Предупреждения
Файл:
Элемент:
Смысл: тоже читать сами строки, но делать менее высокий уровень важности.
3. Накопительные признаки
Файл:
Элемент:
И уже отдельные элементы под каждый тип, если хочешь разные пороги:
logrt.count[/var/log/remote/.*/alerts_behavior\.log,"SPANTREE-5-TOPOTRAP"]
logrt.count[/var/log/remote/.*/alerts_behavior\.log,"SPANTREE-5-ROOTCHANGE"]
Так даже удобнее, потому что триггеры будут понятнее.
Итоговая рекомендация
Если сформулировать совсем практично:
log[]— читать строки из одного обычного файла журнала.logrt[]— читать строки из файла журнала с ротацией.log.count[]— считать количество совпадений в одном обычном файле.logrt.count[]— считать количество совпадений в ротируемом журнале.
Для твоего syslog-сервера почти наверняка базовым выбором будут именно logrt[] и logrt.count[], потому что журналы у тебя ротируются.logrt[] хорошо подходит для событий, которые нужно поднимать сразу.logrt.count[] — для MAC flapping, частых перестроений STP и похожих повторяющихся признаков.
Приступим.
Устанавливаем на сервер Ubuntu Server Minimal 24.04
Далее обновляем систему
sudo apt update
sudo apt upgrade
Устанавливаем сервер rsyslog и каталогизатор logrotate и редактор nano
sudo apt install -y rsyslog logrotate nano
Устанавливаем iputils-ping
sudo apt install iputils-ping
Устанавливаем для теста tcpdump
sudo apt install tcpdump
Что бы работала автоподстановка устанавливаем
sudo apt install bash-completion
Подготавливаем папки
sudo mkdir -p /var/log/remote/_alerts
sudo chmod 0755 /var/log/remote
Меняем права на папку
sudo chown -R syslog:syslog /var/log/remote
Запускаем сервис в автозагрузку и смотрим статус
sudo systemctl enable --now rsyslog
sudo systemctl status rsyslog --no-pager
Создаем файл конфигурации rsyslog
touch /etc/rsyslog.d/10-remote-collector.conf
Открываем конфиг
nano /etc/rsyslog.d/10-remote-collector.conf
Вставляем туда конфиг
# Загружаем модули приема удаленных syslog-сообщений по UDP и TCP
module(load="imudp")
module(load="imtcp")
# Шаблон пути для полного лога по каждому хосту:
# /var/log/remote/<hostname>/all.log
template(name="RemoteAllPath" type="string"
string="/var/log/remote/%HOSTNAME%/all.log")
# Шаблон пути для раскладки по facility:
# /var/log/remote/<hostname>/facility/<facility>.log
template(name="RemoteFacilityPath" type="string"
string="/var/log/remote/%HOSTNAME%/facility/%syslogfacility-text%.log")
# Шаблон пути для раскладки по severity:
# /var/log/remote/<hostname>/severity/<severity>.log
template(name="RemoteSeverityPath" type="string"
string="/var/log/remote/%HOSTNAME%/severity/%syslogseverity-text%.log")
# Отдельный ruleset для всех удаленных сообщений
ruleset(name="RemoteLogs") {
# Полный лог по каждому устройству
action(type="omfile"
dynaFile="RemoteAllPath"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
# Дополнительно раскладываем сообщенияРаскладка по facility
action(type="omfile"
dynaFile="RemoteFacilityPath"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
# Дополнительно раскладываем сообщенияРаскладка по severity
action(type="omfile"
dynaFile="RemoteSeverityPath"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
# ВсеОбщий сообщения уровня err и выше складываем в единый аварийныйтехнический файл #ошибок 0=emerg,— 1=alert,можно 2=crit,оставить 3=errкак вспомогательный
if ($syslogseverity <= 3) then {
action(type="omfile"
file="/var/log/remote/_alerts/high.log"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
}
# Cisco:1. падениеНемедленная интерфейса или line protocolавария
if (($msg contains "LINK-"PM-4-ERR_DISABLE"
or $msg contains "LINEPROTO-")
and
($msg contains "down"SPANTREE-2-BLOCK_BPDUGUARD"
or $msg contains "changedUDLD-4-UDLD_PORT_DISABLED"
stateor to$msg down")contains "SPANTREE-2-CHNL_MISCFG"
or $msg contains "STORM_CONTROL-3-SHUTDOWN") then {
action(type="omfile"
file="/var/log/remote/_alerts/cisco-link-down.alerts_critical.log"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
}
# Ошибки2. аутентификации,Немедленное AAA и SSHпредупреждение
if ($msg contains "LOGIN_FAILED"SPANTREE-2-LOOPGUARD_BLOCK"
or $msg contains "Failed password"SPANTREE-2-ROOTGUARD_BLOCK"
or $msg contains "authentication failed"
or $msg contains "AAA"STORM_CONTROL-3-FILTERED") then {
action(type="omfile"
file="/var/log/remote/_alerts/auth-fail.alerts_warning.log"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
}
# Останавливаем3. дальнейшуюНакопительные обработкупризнаки
этогоif сообщения($msg contains "MAC_MOVE-4-NOTIF"
or $msg contains "SPANTREE-5-TOPOTRAP"
or $msg contains "SPANTREE-5-ROOTCHANGE") then {
action(type="omfile"
file="/var/log/remote/_alerts/alerts_behavior.log"
template="RSYSLOG_TraditionalFileFormat"
createDirs="on"
dirCreateMode="0750"
fileCreateMode="0640"
dirGroup="syslog"
fileGroup="syslog")
}
stop
}
# Слушаем UDP/514 и отправляем сообщения в ruleset RemoteLogs
input(type="imudp" port="514" ruleset="RemoteLogs")
# Слушаем TCP/514 и отправляем сообщения в ruleset RemoteLogs
input(type="imtcp" port="514" ruleset="RemoteLogs")
Проверяем и перезапускаем
sudo rsyslogd -N1
sudo systemctl restart rsyslog
sudo systemctl status rsyslog --no-pager
Проверка, что открыт прием syslog на 514 порту
sudo ss -ulpn | grep ':514'
sudo ss -tlpn | grep ':514'
Проверка, что создаются файлы логов
sudo find /var/log/remote -type f | sort
После получения первых сообщений должны появляться файлы вида:
/var/log/remote/<hostname>/all.log/var/log/remote/<hostname>/facility/.../var/log/remote/<hostname>/severity/.../var/log/remote/_alerts/high.log
Проверка alert-файла high.log
logger -p user.err -t TEST "Проверка записи в high.log"
Потом проверим файл:
sudo tail -n 20 /var/log/remote/_alerts/high.log
С другого Linux-узла в сети можно отправить тестовое сообщение на syslog-сервер:
logger --server <IP_SYSLOG_SERVER> --udp --port 514 -t TEST "Проверка удаленного syslog по UDP"
Для TCP:
logger --server <IP_SYSLOG_SERVER> --tcp --port 514 -t TEST "Проверка удаленного syslog по TCP"
После отправки сообщения нужно проверить, появился ли каталог соответствующего хоста и записался ли лог:
sudo find /var/log/remote -type f | sort
sudo tail -n 20 /var/log/remote/<hostname>/all.log
Создаем файл конфига для logrotate
touch /etc/logrotate.d/remote-syslog
Открываем его
nano /etc/logrotate.d/remote-syslog
Вставляем
/var/log/remote/*/*.log /var/log/remote/*/*/*.log /var/log/remote/_alerts/*.log {
daily
rotate 30
missingok
notifempty
compress
delaycompress
dateext
dateyesterday
dateformat -%Y%m%d
sharedscripts
postrotate
systemctl kill -s HUP rsyslog >/dev/null 2>&1 || true
endscript
}
Для архивных логов используется именование по дате предыдущего дня.
Это позволяет видеть, за какой именно день был сформирован архивный файл, например all.log-20260413.gz, а не использовать только числовые индексы .1, .2 и т.д.
Проверяем
sudo logrotate -d /etc/logrotate.d/remote-syslog
sudo logrotate -f /etc/logrotate.d/remote-syslog
Ставим Zabbix агент (качаем пакет подключения репозитория, подключаем репозиторий через установку пакета, обновляем репозитории и устанавливаем агент)
wget https://repo.zabbix.com/zabbix/7.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_latest_7.0+ubuntu24.04_all.deb
sudo dpkg -i zabbix-release_latest_7.0+ubuntu24.04_all.deb
sudo apt update
sudo apt install -y zabbix-agent2
Добавляем в группу syslog пользователя zabbix (что бы можно было читать log файлы)
sudo usermod -aG syslog zabbix
Открываем файл настройки агента
sudo nano /etc/zabbix/zabbix_agent2.conf
Вставляем следующее в соответствующих разделах
# Кто имеет право опрашивать агент по passive checks.
# Разрешаем подключения от серверов и/или proxy из сети 10.10.99.0/24
Server=10.10.99.0/24
# Куда агент сам будет подключаться за active checks
# и куда будет отправлять данные по active items
ServerActive=10.10.99.7:10051;10.10.99.8:10051
# Имя этого хоста в Zabbix.
# Должно совпадать с именем хоста, созданного в веб-интерфейсе Zabbix
Hostname=syslog-collector
Добавляем в автозагрузку
sudo systemctl enable --now zabbix-agent2
Перезагружаем и проверяем
sudo systemctl restart zabbix-agent2
sudo systemctl status zabbix-agent2 --no-pager