Skip to main content

HP D2700: схема дисковых массивов и назначение хранилищ

HP D2700: схема дисковых массивов и назначение хранилищ

Версия 0.34
Дата 07.10.08.2026
Статус СхемаСетевая согласована,конфигурация реализацияи начататестовый MAIN-DATA Btrfs/Snapper настроены; D2700/P411 ожидаются
Проект Расширение памяти сервера

1. Назначение документа

Документ фиксирует принятую физическую раскладку дисков в полке HP StorageWorks D2700, конфигурацию аппаратных RAID-массивов, назначение каждого массива и роль резервного диска.

В рамках этой статьи последовательно проектируется и настраивается файловое хранилище: SMB-шары, NFS-ресурсы, репозиторий образов Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование выбранных данных.

Массив RECOVERY и его назначение описываются здесь только для фиксации общей дисковой архитектуры. Установка, настройка и эксплуатация TFTP/PXE-сервера будут оформлены в отдельной статье Wiki.

Принятое решение: в D2700 создаются два массива RAID 50, один массив RAID 1 и один общий горячий резервный диск.

2. Состав оборудования

  • Сервер: HP ProLiant DL380 G7.
  • Гипервизор: Proxmox VE.
  • Внешняя дисковая полка: HP StorageWorks D2700, 25 отсеков SFF.
  • Внешний RAID-контроллер: HP Smart Array P411.
  • Интерфейс подключения: внешний SAS, кабель Mini-SAS SFF-8088.
  • Все диски, включаемые в массивы и резерв, должны быть SAS и определяться контроллером P411.

3. Физическая раскладка дисков по отсекам

Отсеки Диски Роль Имя
1–12 12 × 600 ГБ SAS 10K Основной RAID 50 MAIN-DATA
13–14 2 × 146 ГБ SAS 15K Служебный RAID 1 RECOVERY
15 1 × 600 ГБ SAS 10K Общий горячий резерв GLOBAL-SPARE
16–25 10 × 500 ГБ SAS 7.2K Резервный RAID 50 CRITICAL-BACKUP

3.1. Карта отсеков

HP D2700 — отсеки 01–25

01  600 GB  MAIN-DATA
02  600 GB  MAIN-DATA
03  600 GB  MAIN-DATA
04  600 GB  MAIN-DATA
05  600 GB  MAIN-DATA
06  600 GB  MAIN-DATA
07  600 GB  MAIN-DATA
08  600 GB  MAIN-DATA
09  600 GB  MAIN-DATA
10  600 GB  MAIN-DATA
11  600 GB  MAIN-DATA
12  600 GB  MAIN-DATA

13  146 GB  RECOVERY
14  146 GB  RECOVERY

15  600 GB  GLOBAL-SPARE

16  500 GB  CRITICAL-BACKUP
17  500 GB  CRITICAL-BACKUP
18  500 GB  CRITICAL-BACKUP
19  500 GB  CRITICAL-BACKUP
20  500 GB  CRITICAL-BACKUP
21  500 GB  CRITICAL-BACKUP
22  500 GB  CRITICAL-BACKUP
23  500 GB  CRITICAL-BACKUP
24  500 GB  CRITICAL-BACKUP
25  500 GB  CRITICAL-BACKUP

4. Конфигурация массивов

4.1. Основной массив MAIN-DATA

Отсеки 1–12
Состав 12 × 600 ГБ SAS 10K
Уровень RAID RAID 50
Группировка 2 группы RAID 5 по 6 дисков
Расчётная полезная ёмкость 6 ТБ, приблизительно 5,46 ТиБ
Назначение Основное файловое хранилище: рабочие документы, SMB/NFS-ресурсы, образы Clonezilla и другие активные данные.

RAID 50 состоит из нескольких RAID 5-групп, объединённых полосованием. При двух группах массив выдерживает отказ одного диска в каждой группе, но потеря двух дисков в одной и той же группе до завершения rebuild приводит к потере всего логического диска.

4.2. Служебный массив RECOVERY

Отсеки 13–14
Состав 2 × 146 ГБ SAS 15K
Уровень RAID RAID 1
Расчётная полезная ёмкость 146 ГБ, приблизительно 136 ГиБ
Назначение Выделенное хранилище для будущего сервера восстановления: TFTP, PXE, Cisco IOS/IOS XE, ROMMON, конфигурации сетевого оборудования и служебные загрузочные файлы.
Граница статьи: здесь фиксируются только назначение и место массива RECOVERY в общей архитектуре. Настройка TFTP/PXE, правила загрузки прошивок и процедура восстановления Cisco описываются в отдельной статье. Полноразмерные образы рабочих станций Clonezilla размещаются на MAIN-DATA.

4.3. Горячий резерв GLOBAL-SPARE

Отсек 15
Диск 600 ГБ SAS 10K
Роль Общий online spare для массивов MAIN-DATA, RECOVERY и CRITICAL-BACKUP.

Один online spare может быть назначен нескольким массивам, подключённым к одному контроллеру. При отказе активного диска Smart Array автоматически задействует GLOBAL-SPARE и начинает восстановление данных без вмешательства администратора.

4.3.1. Что происходит после отказа диска

  1. Контроллер обнаруживает отказ физического диска в одном из массивов.
  2. Диск из отсека 15 активируется как временный участник пострадавшего массива.
  3. Контроллер восстанавливает на него недостающие данные по информации отказоустойчивости RAID. Для RAID 50 rebuild выполняется внутри соответствующей RAID 5-группы.
  4. После завершения rebuild массив снова получает полную дисковую отказоустойчивость, но отдельного свободного hot spare временно больше нет.
Штатное состояние:
массив + свободный GLOBAL-SPARE

Отказ диска:
массив в восстановлении → данные строятся на GLOBAL-SPARE

После первого rebuild:
массив снова отказоустойчив → GLOBAL-SPARE временно стал рабочим диском массива

4.3.2. Что происходит после установки нового диска в исходный отсек

После извлечения неисправного диска и установки совместимого исправного диска в его исходный отсек контроллер автоматически запускает обратное копирование (copy-back):

  1. Новый диск распознаётся Smart Array как замена отказавшего диска.
  2. Данные автоматически переносятся с активированного GLOBAL-SPARE на новый диск.
  3. Новый диск становится штатным участником исходного массива.
  4. Диск в отсеке 15 освобождается от роли временного участника массива и снова получает статус доступного online spare.
После установки замены:

GLOBAL-SPARE
    │
    └── copy-back данных → новый диск в исходном отсеке
                              │
                              └── становится штатным членом массива

Отсек 15:
GLOBAL-SPARE снова доступен для всех назначенных массивов
Это не secure erase. После copy-back контроллер возвращает диск из отсека 15 в состояние свободного резерва и обновляет его служебную роль. Полное обнуление всех секторов spare-диска для этого не требуется; при следующем задействовании контроллер перезапишет необходимые области.

4.3.3. Требования к заменяющему диску

  • Интерфейс — SAS.
  • Ёмкость — не меньше ёмкости отказавшего диска.
  • Диск должен поддерживаться контроллером и корректно определяться в D2700.
  • Предпочтительно использовать диск той же модели, скорости и сектора.
  • Если установить диск большего объёма, массив использует только объём, соответствующий исходному диску; излишек не увеличит массив автоматически.
Не прерывать rebuild или copy-back. Нельзя извлекать spare-диск, заменяющий диск, отключать полку или перезагружать оборудование без необходимости до завершения операции. Во время rebuild массив сильнее нагружен и имеет повышенный риск потери данных при дополнительном отказе в той же RAID-группе.
Контроль после замены: необходимо убедиться, что logical drive имеет статус OK, операция copy-back завершена, новый диск входит в массив, а отсек 15 снова отображается как доступный online spare.

4.4. Резервный массив CRITICAL-BACKUP

Отсеки 16–25
Состав 10 × 500 ГБ SAS 7.2K
Уровень RAID RAID 50
Группировка 2 группы RAID 5 по 5 дисков
Расчётная полезная ёмкость 4 ТБ, приблизительно 3,64 ТиБ
Назначение Локальные копии выбранной критичной информации с основного массива. Массив не публикуется как обычная пользовательская шара.

5. Логика использования массивов

MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── образы Clonezilla
        │
        └── копирование выбранных критичных данных
                ↓
CRITICAL-BACKUP

RECOVERY
└── зарезервирован под отдельный проект TFTP/PXE и восстановления Cisco

5.1. Основные правила

  • MAIN-DATA является основным рабочим хранилищем.
  • CRITICAL-BACKUP содержит только отобранные критичные копии.
  • CRITICAL-BACKUP не должен быть доступен пользователям для обычной записи.
  • RECOVERY зарезервирован под отдельный TFTP/PXE-сервис; его настройка выполняется по другой статье Wiki.
  • GLOBAL-SPARE не форматируется и не передаётся операционной системе.
  • RAID защищает от отказа отдельных дисков, но не заменяет резервное копирование.
Не считать CRITICAL-BACKUP полноценной независимой резервной копией. Оба RAID-массива находятся в одной полке, подключены к одному контроллеру и зависят от одного сервера и общей инфраструктуры. Для действительно критичных данных в дальнейшем потребуется дополнительная копия вне D2700.

6. Имена объектов

Объект Имя Статус
Основной RAID 50 MAIN-DATA Зафиксировано
Служебный RAID 1 RECOVERY Зафиксировано
Общий горячий резерв GLOBAL-SPARE Зафиксировано
Резервный RAID 50 CRITICAL-BACKUP Зафиксировано

7. Контроль перед созданием массивов

  1. Проверить, что все 25 дисков определяются контроллером P411.
  2. Зафиксировать серийные номера, ёмкость, скорость вращения и номер отсека каждого диска.
  3. Проверить отсутствие статусов Failed и Predictive Failure.
  4. Проверить состояние кэш-модуля и батареи/конденсатора P411.
  5. Создавать массивы только после проверки соответствия дисков карте отсеков.
  6. Назначить диск из отсека 15 общим online spare для всех трёх массивов.
  7. Сохранить отчёт конфигурации Smart Array после создания массивов.

8. Развёртывание виртуальной машины файлового сервера

Файловый сервер разворачивается как отдельная виртуальная машина Ubuntu Server 24.04.4 LTS в Proxmox VE. ОС и конфигурация сервера находятся на внутреннем хранилище Proxmox, а рабочие данные после подключения D2700 будут вынесены на отдельные логические диски аппаратного RAID.

Граница статьи: в этой статье настраиваются файловый сервер, SMB/NFS-шары, репозиторий Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование. Настройка TFTP/PXE-сервера для массива RECOVERY выполняется в отдельной статье Wiki.

8.1. Фактические параметры ВМ

Proxmox VE 9.1.9
VM ID 103
Имя ВМ SMR-SRV-OT-SHARE
Hostname Ubuntu smr-srv-ot-share
ОС Ubuntu Server 24.04.4 LTS
CPU 4 vCPU, 1 socket × 4 cores, CPU type host
RAM 8 GiB
BIOS SeaBIOS
Machine Default (i440fx)
SCSI Controller VirtIO SCSI single
Системный диск scsi0, 100 GiB, local-lvm, I/O thread включён
Сетевые карты 7 × VirtIO

После завершения установки Ubuntu установочный ISO следует извлечь из виртуального CD/DVD-привода, чтобы ВМ всегда загружалась с scsi0.

8.2. Внутреннее хранилище Proxmox

Системное хранилище хоста Proxmox построено на встроенном контроллере HP Smart Array P410i. Восемь дисков по 146 ГБ объединены как RAID 50: две RAID 5-группы по четыре диска. Контроллер экспортирует один logical drive приблизительно 820 GiB. Отдельного hot spare в этом внутреннем массиве нет.

Разделение ролей: внутренний P410i используется для Proxmox, системного диска ВМ и временного тестового диска. Рабочие данные после ввода D2700 должны находиться на logical drive внешнего P411.

9. Системный диск и файловая система ОС

Для ОС принято следующее решение:

Virtual Disk: 100 GiB
└── LVM
    └── / — ext4
        └── максимально доступный объём
  • Файловая система корня — ext4.
  • Разметка — LVM.
  • Шифрование LVM не используется.
  • Свободный резерв внутри VG намеренно не оставляется.
  • Отдельные тома /var, /home и /srv на системном диске не создаются.
  • По фактической установке корневой раздел имеет доступный объём около 95,9 GiB.

Пользовательские данные не должны постоянно храниться на системном диске. После подключения D2700 каталоги данных будут смонтированы с отдельных logical drive в точки под /srv.

9.1. Контроль разметки после установки

lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS
df -hT /
pvs
vgs
lvs

Необходимо подтвердить, что корень / использует ext4 поверх LVM и что внутри VG не осталось значительного нераспределённого объёма.

10. Сетевые интерфейсы Proxmox и Ubuntu

ФайловыйСопоставление серверинтерфейсов подключаетсявыполнено кпо темMAC-адресам. жеВМ является многосетевой, но не маршрутизирует трафик между OT-сегментам,сегментами. чтоНа текущем переходном этапе одновременно используются Legacy VLAN 1 и DNS-серверновые BIND9, но порядок netX у этой ВМ отличается. Поэтому нельзя копировать имена net0...net6 из DNS-ВМ вслепую: ориентироваться нужно на фактический bridge и MAC-адрес.VLAN.

Proxmox UbuntuMAC Bridge Назначение bridgeСегмент Адрес SHARE
net0ens18 BC:24:11:5D:D9:D2 vmbr0 Временная сеть первоначальной настройки 192.168.1.229/24
net1ens19 BC:24:11:46:F2:89 vmbr1 Production management, VLAN 2100 10.44.100.229/24 — планируется
net2ens20 BC:24:11:10:B7:F1 vmbr3 Розлив, VLAN 2002, Розлив2002 Будет назначен позже172.16.68.229/23
net3ens21 BC:24:11:26:DB:1B vmbr4 Пивопроизводство, VLAN 2030, Пивопроизводство2030 Будетсейчас назначенбез позжеIPv4; после миграции 172.16.66.229/23
net4ens22 BC:24:11:9C:F1:D6 vmbr5 Утилиты, VLAN 2040, Утилиты2040 Будет назначен позже172.16.70.229/23
net5ens23 BC:24:11:32:9F:50 vmbr6 Legacy OT, untagged access VLAN 1 Будет10.255.0.229/16 назначен+ позже172.16.66.229/23 на переходный период
net6enp2s1 BC:24:11:67:35:97 vmbr7 АСТУЭ, VLAN 2006, АСТУЭ2006 Будет назначен позже172.17.14.229/24
Важно:Переходное правило для 172.16.66.229: интерфейсыадрес Ubuntuне необходимодолжен окончательноодновременно сопоставитьработать на ens23 и ens21. До модернизации он находится на Legacy VLAN 1 (ens23), после переноса сети 172.16.66.0/23 в VLAN 2030 адрес удаляется с netX по MAC-адресам. Имена ens18, ens19ens23 и т.назначается д. не являются основанием для определения VLAN.ens21.

10.1. ТекущееФактическое состояние интерфейсов Ubuntuадресов

После установки ОС зафиксировано:

ip -br address

lo      UNKNOWN 127.0.0.1/8 ::1/128
ens18   UP 192.168.1.229/24
ens19   DOWNUP 10.44.100.229/24
ens20   DOWNUP 172.16.68.229/23
ens21   DOWNUP
ens22   DOWNUP 172.16.70.229/23
ens23   DOWNUP 10.255.0.229/16 172.16.66.229/23
enp2s1  DOWNUP 172.17.14.229/24

Текущая маршрутизация:таблица маршрутизации:

default via 192.168.1.1 dev ens18 proto static
10.44.100.0/24 dev ens19 proto kernel scope link src 10.44.100.229
10.255.0.0/16 dev ens23 proto kernel scope link src 10.255.0.229
172.16.66.0/23 dev ens23 proto kernel scope link src 172.16.66.229
172.16.68.0/23 dev ens20 proto kernel scope link src 172.16.68.229
172.16.70.0/23 dev ens22 proto kernel scope link src 172.16.70.229
172.17.14.0/24 dev enp2s1 proto kernel scope link src 172.17.14.229
192.168.1.0/24 dev ens18 proto kernel scope link src 192.168.1.229

10.2. Default gateway и DNS

На этапе первоначальной настройки этоединственный правильноеdefault состояние:gateway активен— только192.168.1.1 временныйчерез management-интерфейс,ens18. остальныеПосле интерфейсывывода временной сети из эксплуатации default route должен быть перенесён на Production management: 10.44.100.1 через ens19. Несколько default gateway одновременно не получают адреса по DHCP.используются.

Системный DNS сейчас назначен только на данномens18: этапе:

DNS Server: 192.168.1.1. DefaultНа route:OT-интерфейсах ens18
DNS

10.2.намеренно Проверкане соответствияпрописывается: UbuntuSMB, ↔NFS, ProxmoxClonezilla и SSH планируется использовать по MAC

IP-адресам.
Адреса BIND9 for.53 ifaceприменялись inкак ens18контрольные ens19узлы ens20 ens21 ens22 ens23 enp2s1; do
    printf "%-8s %s\n" "$iface" "$(cat /sys/class/net/$iface/address)"
done

Результат сравнивается с MAC-адресами в таблице выше. Только после этойдля проверки создаётсясетевой окончательныйсвязности, Netplan.но не как DNS-настройка данного файлового сервера.

10.3. ПравилоNetplan маршрутизациии защита от перегенерации cloud-init

ВМРабочий многосетевая,файл: но/etc/netplan/50-cloud-init.yaml, неправа должна600.

выполнять

Создан функции маршрутизатора между OT-сегментами. На конечной конфигурации используется один согласованный маршрут управления либо точные статические маршруты. На OT-интерфейсах отдельные default gateway не задаются.файл:

net.ipv4.ip_forward/etc/cloud/cloud.cfg.d/99-disable-network-config.cfg

=network: 0{config: net.ipv6.conf.all.forwarding = 0disabled}

Это исключает последующую автоматическую перегенерацию сетевого файла cloud-init.

Перед изменениями сохранять резервную копию Netplan. Проверка выполняется через:

sudo netplan generate
sudo netplan try
ip -br address
ip route
resolvectl status

10.4. Проверенная связность

Подтверждена L3-доступность контрольных узлов из следующих сетей:

  • 10.255.0.229 → 10.255.0.53;
  • 172.16.66.229 → 172.16.66.53;
  • 172.16.68.229 → 172.16.68.53;
  • 172.16.70.229 → 172.16.70.53;
  • 172.17.14.229 → 172.17.14.53;
  • 10.44.100.229 → 10.44.100.1.

11. Установка Ubuntu Server 24.04

11.1. Параметры установщика

  • Hostname:Hostname первоначально был введён baltikashare, после установки исправлен на проектный smr-srv-ot-share.
  • Установить OpenSSH Server. установлен.
  • Docker и дополнительные Featured Server Snaps не устанавливать.устанавливались.
  • ВоПри времяустановке установкииспользовалась активироватьвременная только временный management-интерфейс.
  • Адрес:сеть 192.168.1.229/24.
  • ,
  • Gateway:gateway/DNS 192.168.1.1.
  • DNS на этапе установки: 192.168.1.1.
  • На остальных интерфейсах DHCP отключить.

11.2. Исправление hostname после первого входаHostname

sudo hostnamectl set-hostname smr-srv-ot-share
sudo nano /etc/hosts

В /etc/hosts должна присутствовать строка::

127.0.1.1 smr-srv-ot-share

Контроль:

hostnamectl
cat /etc/hostname
grep 127.0.1.1 /etc/hosts

Фактически подтверждено:

Static hostname: smr-srv-ot-share
Operating System: Ubuntu 24.04.4 LTS
Kernel: Linux 6.8.0-137-generic
Virtualization: kvm

12. Базовая подготовка Ubuntu

12.1. Обновление системы

sudo apt update
sudo apt full-upgrade -y

Проверка необходимости перезагрузки:

if [ -f /var/run/reboot-required ]; then
    echo "Требуется перезагрузка:"
    cat /var/run/reboot-required.pkgs
fi

Если перезагрузка требуется:

sudo systemctl reboot

12.2. Базовые и служебные пакеты

sudo apt install -y \
  ca-certificates \
  curl \ nano \
  openssl \ iputils-ping \
  tcpdump \ arping \
  bash-completion \
  lsof \ qemu-guest-agent \
  systemd-timesyncd \ ufw \
  ethtool \
  rsync \
  acl \ attr

Дополнительно

послевыбораBtrfsустановлены:

sudo 
apt install -y Сначала полностью проверяется слой затем на него накладываются
Пакет Назначение
ca-certificatesbtrfs-progs snapper Корневые
Пока сертификатыне CAустанавливать/не длявводить HTTPS,в APTэксплуатацию: иSamba, проверки TLS.
curlПроверка HTTP/HTTPS, API и получение файлов.
nanoРедактирование Netplan, Samba/NFS и системныхUFW-правила. конфигураций.
opensslРабота с сертификатами, ключами, хешамихранения и диагностикаsnapshot-механизм; TLS.
iputils-pingБазоваяфайловые проверка IP-доступности.
tcpdumpЗахватсервисы и анализ SMB/NFS, ARP, ICMP, NTP и прочего сетевого трафика.
arpingПроверка L2-доступности и конфликтов IPv4-адресов.
bash-completionАвтодополнение команд Bash.
lsofПоиск процессов, использующих файлы, TCP/UDP-порты и сокеты.
qemu-guest-agentИнтеграция Ubuntu с Proxmox: сведения о ВМ, корректное управление и поддержка backup freeze/thaw.
systemd-timesyncdЛёгкий NTP-клиент для синхронизации системного времени.
ufwHost firewall. Пока устанавливается, но не включается до утверждения всех сетей и правил SMB/NFS/SSH.
ethtoolДиагностика VirtIO-интерфейсов, драйвера и offload-функций.
rsyncМиграция и синхронизация файлов; в дальнейшем может использоваться как часть локального копирования MAIN-DATA → CRITICAL-BACKUP.
aclУтилиты getfacl/setfacl для POSIX ACL файловых шар.
attrУправление extended attributes, используемыми Samba и файловыми системами.
На этом этапе не устанавливать: samba, nfs-kernel-server, xfsprogs, btrfs-progs, quota, snapper. Сначала необходимо окончательно выбрать файловую систему массивов данных, точки монтирования, модель ACL, квот и теневых копий.ACL.

13. QEMU Guest Agent

sudo systemctl enable --now qemu-guest-agent
systemctl status qemu-guest-agent --no-pager
ls -l /dev/virtio-ports/

Ожидается:

Подтверждено
состояние Active: active (running) и наличие /dev/virtio-ports/org.qemu.guest_agent.0

Если служба имеет тип static, это допустимо: агент запускается при наличии VirtIO-канала от Proxmox..

14. Часовой пояс и синхронизация времени

sudo timedatectl set-timezone Europe/Samara
sudo timedatectl set-local-rtc 0
sudo timedatectl set-ntp true
timedatectl status

Ожидаемое состояние:Подтверждено:

Time zone: Europe/Samara
System clock synchronized: yes
NTP service: active
RTC in local TZ: no

15. Запрет маршрутизации между OT-сегментами

Наличие семи интерфейсов не должно превращать файловый сервер в маршрутизатор. Перед вводом нескольких OT-адресов фиксируется явный запрет IPv4/IPv6 forwarding:

sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF'
net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0
EOF
sudo sysctl --system

Проверка:

sysctl net.ipv4.ip_forward
sysctl net.ipv6.conf.all.forwarding

Ожидается:Оба значения должны быть 0. Для многосетевого сервера также фактически используется loose reverse path filtering (rp_filter=2).

16. Временный тестовый MAIN-DATA без D2700

На момент настройки внешний P411 ещё не установлен, D2700 не подключена. Чтобы не останавливать проект, в VM 103 добавлен отдельный тестовый виртуальный диск, который временно имитирует будущий logical drive MAIN-DATA.

16.1. Диск в Proxmox

Устройствоscsi1
Storagelocal-lvm
Размер50 GiB
BusSCSI
I/O threadвключён
Discardвключён

Ubuntu определяет его как:

net.ipv4.ip_forwardsdb  =50G  disk  QEMU HARDDISK

16.2. Выбор файловой системы

Для MAIN-DATA принято использовать Btrfs. Основной аргумент — необходимость нативных snapshots и последующей публикации их через Samba как Windows «Предыдущие версии». Аппаратную отказоустойчивость физических дисков обеспечивает P411/RAID50; Btrfs будет видеть один logical drive.

Важно: Btrfs RAID5/RAID6 поверх P411 не используется. На уровне Btrfs это один device; RAID 50 реализуется аппаратным контроллером.

16.3. Создание Btrfs на тестовом диске

wipefs -n /dev/sdb
mkfs.btrfs -L MAIN-DATA-TEST /dev/sdb
blkid /dev/sdb
lsblk -f /dev/sdb

Фактические параметры тестовой FS:

LABEL=MAIN-DATA-TEST
UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c
TYPE=btrfs
Data profile: single
Metadata profile: DUP
System profile: DUP
Checksum: crc32c

Профили Metadata:DUP и System:DUP для одного Btrfs-device являются штатными. Это не заменяет аппаратный RAID и отдельную резервную копию.

16.4. Subvolume

Созданы два независимых subvolume:

mkdir -p /mnt/main-data-setup
mount /dev/sdb /mnt/main-data-setup
btrfs subvolume create /mnt/main-data-setup/shares
btrfs subvolume create /mnt/main-data-setup/clonezilla
btrfs subvolume list /mnt/main-data-setup
umount /mnt/main-data-setup
rmdir /mnt/main-data-setup

Результат:

ID 256 ... path shares
ID 257 ... path clonezilla

Логическая структура:

MAIN-DATA (Btrfs)
├── shares       — рабочие SMB-данные, отдельная snapshot-политика
└── clonezilla   — репозиторий образов, отдельная snapshot-политика

16.5. Постоянная точка монтирования

mkdir -p /srv/main-data
cp -a /etc/fstab "/etc/fstab.backup-$(date +%F-%H%M%S)"

Добавлена строка:

UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c /srv/main-data btrfs defaults,nofail,x-systemd.device-timeout=10s 0
net.ipv6.conf.all.forwarding = 0

Проверка:

systemctl daemon-reload
mount -av
findmnt /srv/main-data
df -hT /srv/main-data
btrfs filesystem show /srv/main-data
btrfs filesystem usage /srv/main-data
btrfs subvolume list /srv/main-data

Фактически подтверждено корректное размонтирование и повторное монтирование через /etc/fstab.

Защита от записи на системный диск: после установки Samba/NFS их запуск необходимо привязать к успешному монтированию /srv/main-data. nofail позволяет Ubuntu загрузиться без внешнего массива, но файловые сервисы не должны в таком состоянии писать в пустой каталог на корневой FS.

16.17. Snapper и защита от случайного удаления

Snapshots обязательны для обоих subvolume. Для shares они будут использоваться как основа Windows «Предыдущие версии». Для clonezilla они защищают редкие и критичные образы производственных машин от случайного удаления или перезаписи.

17.1. Независимые конфигурации Snapper

snapper -c shares create-config /srv/main-data/shares
snapper -c clonezilla create-config /srv/main-data/clonezilla
snapper list-configs

Результат:

Config     | Subvolume
-----------+--------------------------
clonezilla | /srv/main-data/clonezilla
shares     | /srv/main-data/shares

17.2. Автоматические timeline snapshots

Стандартный snapper-timeline.timer создаёт timeline snapshot примерно один раз в час. Параметры hourly/daily/weekly/monthly задают не разные задания создания, а глубину хранения и прореживания одной последовательности timeline snapshots.

Принята целевая политика для обоих subvolume:

КлассКоличествоСмысл
Hourly72детальная история приблизительно за 3 суток
Daily30примерно 1 месяц
Weekly12примерно 3 месяца
Monthly12примерно 1 год
Yearly0отдельные годовые точки не хранятся

Команды для приведения обеих конфигураций к целевой политике:

for cfg in shares clonezilla; do
    snapper -c "$cfg" set-config TIMELINE_CREATE=yes
    snapper -c "$cfg" set-config TIMELINE_CLEANUP=yes
    snapper -c "$cfg" set-config TIMELINE_LIMIT_HOURLY=72
    snapper -c "$cfg" set-config TIMELINE_LIMIT_DAILY=30
    snapper -c "$cfg" set-config TIMELINE_LIMIT_WEEKLY=12
    snapper -c "$cfg" set-config TIMELINE_LIMIT_MONTHLY=12
    snapper -c "$cfg" set-config TIMELINE_LIMIT_YEARLY=0
done

Проверка:

snapper -c shares get-config | grep -E 'TIMELINE|SUBVOLUME'
snapper -c clonezilla get-config | grep -E 'TIMELINE|SUBVOLUME'

17.3. Systemd timers

systemctl enable --now snapper-timeline.timer
systemctl enable --now snapper-cleanup.timer
systemctl status snapper-timeline.timer --no-pager
systemctl status snapper-cleanup.timer --no-pager
systemctl list-timers 'snapper*'

snapper-timeline.timer создаёт snapshot'ы примерно каждый час. snapper-cleanup.timer выполняет ежедневное прореживание истории по заданным лимитам. TIMELINE_MIN_AGE=1800 означает минимальный возраст 30 минут до рассмотрения snapshot cleanup-механизмом.

17.4. Проверка восстановления файла

Для shares проверен полный сценарий:

создать test-document.txt
→ snapper -c shares create --print-number --description "Before deletion test"
→ удалить test-document.txt
→ прочитать файл из .snapshots/<N>/snapshot/
→ восстановить cp -a обратно в рабочий subvolume

Файл успешно сохранился в snapshot после удаления из текущего состояния и был восстановлен.

17.5. Проверка Clonezilla

Проверена аналогичная схема с тестовым образом 32 MiB:

dd if=/dev/zero of=/srv/main-data/clonezilla/TEST-MACHINE.img bs=1M count=32
CZSNAP=$(snapper -c clonezilla create --print-number --description "Clonezilla deletion test")
rm /srv/main-data/clonezilla/TEST-MACHINE.img
ls -lh "/srv/main-data/clonezilla/.snapshots/$CZSNAP/snapshot/TEST-MACHINE.img"
cp -a "/srv/main-data/clonezilla/.snapshots/$CZSNAP/snapshot/TEST-MACHINE.img" /srv/main-data/clonezilla/

Удалённый образ остался в snapshot и был успешно восстановлен.

17.6. Ручной snapshot для особо важных образов

Почасовой timeline не гарантирует защиту файла, который был создан и удалён между двумя snapshot'ами. Поэтому после успешного создания редкого/критичного Clonezilla-образа необходимо вручную создать отдельную точку:

snapper -c clonezilla create \
  --description "GOLDEN - <имя машины / назначение / дата>"

Если не указывать cleanup algorithm, поле Cleanup остаётся пустым и такой snapshot не удаляется обычной timeline-ротацией. Его удаление выполняется администратором осознанно.

Snapshot не является backup. Текущие данные и snapshots находятся на одном MAIN-DATA. При потере всего logical drive они будут потеряны вместе. Особо критичные Clonezilla-образы должны дополнительно копироваться на CRITICAL-BACKUP, а действительно критичные данные — иметь копию вне D2700.

18. План интеграции Samba, NFS и Windows «Предыдущие версии»

Следующий слой строится поверх уже проверенных Btrfs/Snapper subvolume:

/srv/main-data
├── shares
│   ├── Samba
│   ├── POSIX ACL
│   ├── Samba recycle bin
│   └── Snapper → Windows Previous Versions
│
└── clonezilla
    ├── NFS repository
    └── Snapper snapshots

Для Samba планируется использовать модуль vfs_snapper для отображения Snapper snapshots как Shadow Copies/«Предыдущие версии», а также vfs_recycle как первый уровень защиты от случайного удаления.

Настройка ACL, локальных пользователей/групп и ALLOW_USERS/ ALLOW_GROUPS Snapper выполняется после определения структуры SMB-шар.

19. Замена тестового диска на D2700 MAIN-DATA

После получения P411 и подключения D2700:

  1. Создать аппаратный RAID50 MAIN-DATA на 12 × 600 ГБ.
  2. Передать logical drive в VM 103 как отдельное стабильное block device.
  3. Создать на нём Btrfs.
  4. Создать subvolume shares и clonezilla.
  5. Остановить файловые сервисы.
  6. Размонтировать тестовый /dev/sdb.
  7. Изменить UUID /srv/main-data в /etc/fstab на UUID реального MAIN-DATA.
  8. Смонтировать реальный массив в тот же /srv/main-data.
  9. Пересоздать/проверить конфигурации Snapper на production subvolume.
  10. Проверить, что Samba/NFS используют те же пути и не требуют изменения структуры.

20. Текущая контрольная точка

Этап Состояние
Дисковая архитектура D2700 Согласована
P411 / D2700Оборудование ещё не подключено
ВМ SMR-SRV-OT-SHARE Создана, VM ID 103
Ubuntu Server 24.04.4 LTS Установлена и базово подготовлена
Системный диск 100 GiBСеть Создан,Все кореньтекущие околоадреса 95,9назначены GiBи проверены; VLAN2030 ожидает миграции 172.16.66.0/23
HostnameIP forwarding smr-srv-ot-share установленОтключён
ВременнаяТестовый сетьMAIN-DATA 192.168.1.229/24scsi1, SSH50 работаетGiB, Btrfs, /srv/main-data
ProductionBtrfs managementsubvolume 10.44.100.229/24shares согласован,и настройкаclonezilla позжесозданы
Остальные OT-адресаSnapper ОжидаютОбе согласованияконфигурации созданы, ручные и timeline snapshots проверены
Целевая retention-политика72 hourly / 30 daily / 12 weekly / 12 monthly
Восстановление после удаленияПроверено для обычного файла и Clonezilla-образа
SMB/NFS Ещё не устанавливались
D2700/P411Подключение и создание logical drive — отдельный следующийСледующий этап

17.21. Следующие этапы реализации

  1. ЗавершитьПривести обновлениеобе UbuntuSnapper-конфигурации к целевому лимиту 72 hourly и базовуюпроверить подготовкуочередной ОС.автоматический snapshot без ручного запуска service.
  2. ПроверитьСпроектировать QEMUструктуру GuestSMB-шар, Agent,локальные часовой поясгруппы и синхронизациюPOSIX времени.ACL.
  3. СопоставитьУстановить все интерфейсы Ubuntu с netX по MAC-адресам.
  4. ПолучитьSamba и зафиксировать IP-адреса для VLAN 2002, 2030, 2040, 2006 и Legacy VLAN 1.
  5. Сформировать окончательный Netplan и правила маршрутизации.
  6. Выбрать файловые системы длянастроить MAIN-DATA и CRITICAL-BACKUPvfs_recycle.
  7. ОпределитьНастроить точки монтированияvfs_snapper и модельпроверить передачиWindows logical«Предыдущие drive P411 в ВМ.версии».
  8. Установить NFS и настроитьопубликовать Samba./srv/main-data/clonezilla только для разрешённых сетей/клиентов.
  9. УстановитьПривязать и настроить Samba/NFS дляк Clonezilla.
  10. наличию
  11. Настроить пользователей, группы, ACL, квоты, корзину и предыдущие версии.
  12. Настроить локальное копирование критичных данных вmount CRITICAL-BACKUP/srv/main-data.
  13. Настроить UFW после утверждения всехокончательных разрешённыхSMB/NFS/SSH сетейправил.
  14. После получения P411 подключить D2700 и сервисов.заменить тестовый volume на production MAIN-DATA.
  15. Создать и подключить CRITICAL-BACKUP, затем настроить копирование выбранных критичных данных.
  16. Добавить мониторинг Btrfs usage, snapshot retention, mount-состояния файлового сервера и контрольфайловых резервных копий.сервисов.

18.22. Справочные материалы