HP D2700: схема дисковых массивов и назначение хранилищ
HP D2700: схема дисковых массивов и назначение хранилищ
| Версия | 0. |
|---|---|
| Дата | |
| Статус | |
| Проект | Расширение памяти сервера |
1. Назначение документа
Документ фиксирует принятую физическую раскладку дисков в полке HP StorageWorks D2700, конфигурацию аппаратных RAID-массивов, назначение каждого массива и роль резервного диска.
В рамках этой статьи последовательно проектируется и настраивается файловое хранилище: SMB-шары, NFS-ресурсы, репозиторий образов Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование выбранных данных.
Массив RECOVERY и его назначение описываются здесь только для фиксации общей дисковой архитектуры. Установка, настройка и эксплуатация TFTP/PXE-сервера будут оформлены в отдельной статье Wiki.
2. Состав оборудования
- Сервер: HP ProLiant DL380 G7.
- Гипервизор: Proxmox VE.
- Внешняя дисковая полка: HP StorageWorks D2700, 25 отсеков SFF.
- Внешний RAID-контроллер: HP Smart Array P411.
- Интерфейс подключения: внешний SAS, кабель Mini-SAS SFF-8088.
- Все диски, включаемые в массивы и резерв, должны быть SAS и определяться контроллером P411.
3. Физическая раскладка дисков по отсекам
| Отсеки | Диски | Роль | Имя |
|---|---|---|---|
| 1–12 | 12 × 600 ГБ SAS 10K | Основной RAID 50 | MAIN-DATA |
| 13–14 | 2 × 146 ГБ SAS 15K | Служебный RAID 1 | RECOVERY |
| 15 | 1 × 600 ГБ SAS 10K | Общий горячий резерв | GLOBAL-SPARE |
| 16–25 | 10 × 500 ГБ SAS 7.2K | Резервный RAID 50 | CRITICAL-BACKUP |
3.1. Карта отсеков
HP D2700 — отсеки 01–25
01 600 GB MAIN-DATA
02 600 GB MAIN-DATA
03 600 GB MAIN-DATA
04 600 GB MAIN-DATA
05 600 GB MAIN-DATA
06 600 GB MAIN-DATA
07 600 GB MAIN-DATA
08 600 GB MAIN-DATA
09 600 GB MAIN-DATA
10 600 GB MAIN-DATA
11 600 GB MAIN-DATA
12 600 GB MAIN-DATA
13 146 GB RECOVERY
14 146 GB RECOVERY
15 600 GB GLOBAL-SPARE
16 500 GB CRITICAL-BACKUP
17 500 GB CRITICAL-BACKUP
18 500 GB CRITICAL-BACKUP
19 500 GB CRITICAL-BACKUP
20 500 GB CRITICAL-BACKUP
21 500 GB CRITICAL-BACKUP
22 500 GB CRITICAL-BACKUP
23 500 GB CRITICAL-BACKUP
24 500 GB CRITICAL-BACKUP
25 500 GB CRITICAL-BACKUP
4. Конфигурация массивов
4.1. Основной массив MAIN-DATA
| Отсеки | 1–12 |
|---|---|
| Состав | 12 × 600 ГБ SAS 10K |
| Уровень RAID | RAID 50 |
| Группировка | 2 группы RAID 5 по 6 дисков |
| Расчётная полезная ёмкость | 6 ТБ, приблизительно 5,46 ТиБ |
| Назначение | Основное файловое хранилище: рабочие документы, SMB/NFS-ресурсы, образы Clonezilla и другие активные данные. |
RAID 50 состоит из нескольких RAID 5-групп, объединённых полосованием. При двух группах массив выдерживает отказ одного диска в каждой группе, но потеря двух дисков в одной и той же группе до завершения rebuild приводит к потере всего логического диска.
4.2. Служебный массив RECOVERY
| Отсеки | 13–14 |
|---|---|
| Состав | 2 × 146 ГБ SAS 15K |
| Уровень RAID | RAID 1 |
| Расчётная полезная ёмкость | 146 ГБ, приблизительно 136 ГиБ |
| Назначение | Выделенное хранилище для будущего сервера восстановления: TFTP, PXE, Cisco IOS/IOS XE, ROMMON, конфигурации сетевого оборудования и служебные загрузочные файлы. |
RECOVERY в общей архитектуре. Настройка TFTP/PXE, правила загрузки прошивок и процедура восстановления Cisco описываются в отдельной статье. Полноразмерные образы рабочих станций Clonezilla размещаются на MAIN-DATA.4.3. Горячий резерв GLOBAL-SPARE
| Отсек | 15 |
|---|---|
| Диск | 600 ГБ SAS 10K |
| Роль | Общий online spare для массивов MAIN-DATA, RECOVERY и CRITICAL-BACKUP. |
Один online spare может быть назначен нескольким массивам, подключённым к одному контроллеру. При отказе активного диска Smart Array автоматически задействует GLOBAL-SPARE и начинает восстановление данных без вмешательства администратора.
4.3.1. Что происходит после отказа диска
- Контроллер обнаруживает отказ физического диска в одном из массивов.
- Диск из отсека 15 активируется как временный участник пострадавшего массива.
- Контроллер восстанавливает на него недостающие данные по информации отказоустойчивости RAID. Для RAID 50 rebuild выполняется внутри соответствующей RAID 5-группы.
- После завершения rebuild массив снова получает полную дисковую отказоустойчивость, но отдельного свободного hot spare временно больше нет.
Штатное состояние:
массив + свободный GLOBAL-SPARE
Отказ диска:
массив в восстановлении → данные строятся на GLOBAL-SPARE
После первого rebuild:
массив снова отказоустойчив → GLOBAL-SPARE временно стал рабочим диском массива
4.3.2. Что происходит после установки нового диска в исходный отсек
После извлечения неисправного диска и установки совместимого исправного диска в его исходный отсек контроллер автоматически запускает обратное копирование (copy-back):
- Новый диск распознаётся Smart Array как замена отказавшего диска.
- Данные автоматически переносятся с активированного
GLOBAL-SPAREна новый диск. - Новый диск становится штатным участником исходного массива.
- Диск в отсеке 15 освобождается от роли временного участника массива и снова получает статус доступного online spare.
После установки замены:
GLOBAL-SPARE
│
└── copy-back данных → новый диск в исходном отсеке
│
└── становится штатным членом массива
Отсек 15:
GLOBAL-SPARE снова доступен для всех назначенных массивов
4.3.3. Требования к заменяющему диску
- Интерфейс — SAS.
- Ёмкость — не меньше ёмкости отказавшего диска.
- Диск должен поддерживаться контроллером и корректно определяться в D2700.
- Предпочтительно использовать диск той же модели, скорости и сектора.
- Если установить диск большего объёма, массив использует только объём, соответствующий исходному диску; излишек не увеличит массив автоматически.
OK, операция copy-back завершена, новый диск входит в массив, а отсек 15 снова отображается как доступный online spare.4.4. Резервный массив CRITICAL-BACKUP
| Отсеки | 16–25 |
|---|---|
| Состав | 10 × 500 ГБ SAS 7.2K |
| Уровень RAID | RAID 50 |
| Группировка | 2 группы RAID 5 по 5 дисков |
| Расчётная полезная ёмкость | 4 ТБ, приблизительно 3,64 ТиБ |
| Назначение | Локальные копии выбранной критичной информации с основного массива. Массив не публикуется как обычная пользовательская шара. |
5. Логика использования массивов
MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── образы Clonezilla
│
└── копирование выбранных критичных данных
↓
CRITICAL-BACKUP
RECOVERY
└── зарезервирован под отдельный проект TFTP/PXE и восстановления Cisco
5.1. Основные правила
MAIN-DATAявляется основным рабочим хранилищем.CRITICAL-BACKUPсодержит только отобранные критичные копии.CRITICAL-BACKUPне должен быть доступен пользователям для обычной записи.RECOVERYзарезервирован под отдельный TFTP/PXE-сервис; его настройка выполняется по другой статье Wiki.GLOBAL-SPAREне форматируется и не передаётся операционной системе.- RAID защищает от отказа отдельных дисков, но не заменяет резервное копирование.
6. Имена объектов
| Объект | Имя | Статус |
|---|---|---|
| Основной RAID 50 | MAIN-DATA |
Зафиксировано |
| Служебный RAID 1 | RECOVERY |
Зафиксировано |
| Общий горячий резерв | GLOBAL-SPARE |
Зафиксировано |
| Резервный RAID 50 | CRITICAL-BACKUP |
Зафиксировано |
7. Контроль перед созданием массивов
- Проверить, что все 25 дисков определяются контроллером P411.
- Зафиксировать серийные номера, ёмкость, скорость вращения и номер отсека каждого диска.
- Проверить отсутствие статусов
FailedиPredictive Failure. - Проверить состояние кэш-модуля и батареи/конденсатора P411.
- Создавать массивы только после проверки соответствия дисков карте отсеков.
- Назначить диск из отсека 15 общим online spare для всех трёх массивов.
- Сохранить отчёт конфигурации Smart Array после создания массивов.
8. Развёртывание виртуальной машины файлового сервера
Файловый сервер разворачивается как отдельная виртуальная машина Ubuntu Server 24.04.4 LTS в Proxmox VE. ОС и конфигурация сервера находятся на внутреннем хранилище Proxmox, а рабочие данные после подключения D2700 будут вынесены на отдельные логические диски аппаратного RAID.
RECOVERY выполняется в отдельной статье Wiki.8.1. Фактические параметры ВМ
| Proxmox VE | 9.1.9 |
|---|---|
| VM ID | 103 |
| Имя ВМ | SMR-SRV-OT-SHARE |
| Hostname Ubuntu | smr-srv-ot-share |
| ОС | Ubuntu Server 24.04.4 LTS |
| CPU | 4 vCPU, 1 socket × 4 cores, CPU type host |
| RAM | 8 GiB |
| BIOS | SeaBIOS |
| Machine | Default (i440fx) |
| SCSI Controller | VirtIO SCSI single |
| Системный диск | scsi0, 100 GiB, local-lvm, I/O thread включён |
| Сетевые карты | 7 × VirtIO |
После завершения установки Ubuntu установочный ISO следует извлечь из виртуального CD/DVD-привода, чтобы ВМ всегда загружалась с scsi0.
8.2. Внутреннее хранилище Proxmox
Системное хранилище хоста Proxmox построено на встроенном контроллере HP Smart Array P410i. Восемь дисков по 146 ГБ объединены как RAID 50: две RAID 5-группы по четыре диска. Контроллер экспортирует один logical drive приблизительно 820 GiB. Отдельного hot spare в этом внутреннем массиве нет.
9. Системный диск и файловая система ОС
Для ОС принято следующее решение:
Virtual Disk: 100 GiB
└── LVM
└── / — ext4
└── максимально доступный объём
- Файловая система корня —
ext4. - Разметка — LVM.
- Шифрование LVM не используется.
- Свободный резерв внутри VG намеренно не оставляется.
- Отдельные тома
/var,/homeи/srvна системном диске не создаются. - По фактической установке корневой раздел имеет доступный объём около 95,9 GiB.
Пользовательские данные не должны постоянно храниться на системном диске. После подключения D2700 каталоги данных будут смонтированы с отдельных logical drive в точки под /srv.
9.1. Контроль разметки после установки
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS
df -hT /
pvs
vgs
lvs
Необходимо подтвердить, что корень / использует ext4 поверх LVM и что внутри VG не осталось значительного нераспределённого объёма.
10. Сетевые интерфейсы Proxmox и Ubuntu
ФайловыйСопоставление серверинтерфейсов подключаетсявыполнено кпо темMAC-адресам. жеВМ является многосетевой, но не маршрутизирует трафик между OT-сегментам,сегментами. чтоНа текущем переходном этапе одновременно используются Legacy VLAN 1 и DNS-серверновые BIND9, но порядок netX у этой ВМ отличается. Поэтому нельзя копировать имена net0...net6 из DNS-ВМ вслепую: ориентироваться нужно на фактический bridge и MAC-адрес.VLAN.
| Proxmox | Ubuntu | MAC | Bridge | Адрес |
|
|---|---|---|---|---|---|
net0 |
ens18 |
BC:24:11:5D:D9:D2 |
vmbr0 |
Временная сеть |
192.168.1.229/24 |
net1 |
ens19 |
BC:24:11:46:F2:89 |
vmbr1 |
Production management, VLAN 2100 | 10.44.100.229/24 |
net2 |
ens20 |
BC:24:11:10:B7:F1 |
vmbr3 |
Розлив, VLAN |
172.16.68.229/23 |
net3 |
ens21 |
BC:24:11:26:DB:1B |
vmbr4 |
Пивопроизводство, VLAN |
172.16.66.229/23 |
net4 |
ens22 |
BC:24:11:9C:F1:D6 |
vmbr5 |
Утилиты, VLAN |
172.16.70.229/23 |
net5 |
ens23 |
BC:24:11:32:9F:50 |
vmbr6 |
Legacy OT, untagged |
10.255.0.229/16 172.16.66.229/23 на переходный период |
net6 |
enp2s1 |
BC:24:11:67:35:97 |
vmbr7 |
АСТУЭ, VLAN |
172.17.14.229/24 |
ens23 и ens21. До модернизации он находится на Legacy VLAN 1 (ens23), после переноса сети 172.16.66.0/23 в VLAN 2030 адрес удаляется с netXens18ens19ens23 и ens21.10.1. ТекущееФактическое состояние интерфейсов Ubuntuадресов
После установки ОС зафиксировано:
ip -br address
lo UNKNOWN 127.0.0.1/8 ::1/128
ens18 UP 192.168.1.229/24
ens19 DOWNUP 10.44.100.229/24
ens20 DOWNUP 172.16.68.229/23
ens21 DOWNUP
ens22 DOWNUP 172.16.70.229/23
ens23 DOWNUP 10.255.0.229/16 172.16.66.229/23
enp2s1 DOWNUP 172.17.14.229/24
Текущая маршрутизация:таблица маршрутизации:
default via 192.168.1.1 dev ens18 proto static
10.44.100.0/24 dev ens19 proto kernel scope link src 10.44.100.229
10.255.0.0/16 dev ens23 proto kernel scope link src 10.255.0.229
172.16.66.0/23 dev ens23 proto kernel scope link src 172.16.66.229
172.16.68.0/23 dev ens20 proto kernel scope link src 172.16.68.229
172.16.70.0/23 dev ens22 proto kernel scope link src 172.16.70.229
172.17.14.0/24 dev enp2s1 proto kernel scope link src 172.17.14.229
192.168.1.0/24 dev ens18 proto kernel scope link src 192.168.1.229
10.2. Default gateway и DNS
На этапе первоначальной настройки этоединственный правильноеdefault состояние:gateway активен— только192.168.1.1 временныйчерез management-интерфейс,ens18. остальныеПосле интерфейсывывода временной сети из эксплуатации default route должен быть перенесён на Production management: 10.44.100.1 через ens19. Несколько default gateway одновременно не получают адреса по DHCP.используются.
Системный DNS сейчас назначен только на данномens18: этапе:
DNS.DNS Server:192.168.1.1DefaultНаroute:OT-интерфейсахens18
10.2.намеренно Проверкане соответствияпрописывается: UbuntuSMB, ↔NFS, ProxmoxClonezilla и SSH планируется использовать по MAC
IP-адресам. Адреса BIND9for.53ifaceприменялисьinкакens18контрольныеens19узлыens20 ens21 ens22 ens23 enp2s1; do printf "%-8s %s\n" "$iface" "$(cat /sys/class/net/$iface/address)" done
Результат сравнивается с MAC-адресами в таблице выше. Только после этойдля проверки создаётсясетевой окончательныйсвязности, Netplan.но не как DNS-настройка данного файлового сервера.
10.3. ПравилоNetplan маршрутизациии защита от перегенерации cloud-init
ВМРабочий многосетевая,файл: но/etc/netplan/50-cloud-init.yaml, неправа должна600.
Создан функции маршрутизатора между OT-сегментами. На конечной конфигурации используется один согласованный маршрут управления либо точные статические маршруты. На OT-интерфейсах отдельные default gateway не задаются.файл:
net.ipv4.ip_forward/etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
=network: 0{config: net.ipv6.conf.all.forwarding = 0disabled}
Это исключает последующую автоматическую перегенерацию сетевого файла cloud-init.
Перед изменениями сохранять резервную копию Netplan. Проверка выполняется через:
sudo netplan generate
sudo netplan try
ip -br address
ip route
resolvectl status
10.4. Проверенная связность
Подтверждена L3-доступность контрольных узлов из следующих сетей:
10.255.0.229 → 10.255.0.53;172.16.66.229 → 172.16.66.53;172.16.68.229 → 172.16.68.53;172.16.70.229 → 172.16.70.53;172.17.14.229 → 172.17.14.53;10.44.100.229 → 10.44.100.1.
11. Установка Ubuntu Server 24.04
11.1. Параметры установщика
Hostname:Hostname первоначально был введёнbaltikashare, после установки исправлен напроектныйsmr-srv-ot-share.УстановитьOpenSSH Server.установлен.- Docker и дополнительные Featured Server Snaps не
устанавливать.устанавливались. ВоПривремяустановкеустановкииспользоваласьактивироватьвременнаятолько временный management-интерфейс.Адрес:сеть192.168.1.229/24., Gateway:gateway/DNS192.168.1.1.DNS на этапе установки:192.168.1.1.На остальных интерфейсах DHCP отключить.
11.2. Исправление hostname после первого входаHostname
sudo hostnamectl set-hostname smr-srv-ot-share
sudo nano /etc/hosts
В /etc/hosts должна присутствовать строка::
127.0.1.1 smr-srv-ot-shareКонтроль:
hostnamectl
cat /etc/hostname
grep 127.0.1.1 /etc/hosts
Фактически подтверждено:
Static hostname: smr-srv-ot-share
Operating System: Ubuntu 24.04.4 LTS
Kernel: Linux 6.8.0-137-generic
Virtualization: kvm
12. Базовая подготовка Ubuntu
12.1. Обновление системы
sudo apt update
sudo apt full-upgrade -yПроверка необходимости перезагрузки:
if [ -f /var/run/reboot-required ]; then
echo "Требуется перезагрузка:"
cat /var/run/reboot-required.pkgs
fiЕсли перезагрузка требуется:
sudo systemctl reboot12.2. Базовые и служебные пакеты
sudo apt install -y \
ca-certificates \
curl \ nano \
openssl \ iputils-ping \
tcpdump \ arping \
bash-completion \
lsof \ qemu-guest-agent \
systemd-timesyncd \ ufw \
ethtool \
rsync \
acl \ attr
|
Пока |
| |
| |
| слой |
| накладываются |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
|
sambanfs-kernel-serverxfsprogsbtrfs-progsquotasnapper13. QEMU Guest Agent
sudo systemctl enable --now qemu-guest-agent
systemctl status qemu-guest-agent --no-pager
ls -l /dev/virtio-ports/
Ожидается:
состояниеи наличиеActive:active (running)/dev/virtio-ports/org.qemu.guest_agent.0
Если служба имеет тип static, это допустимо: агент запускается при наличии VirtIO-канала от Proxmox..
14. Часовой пояс и синхронизация времени
sudo timedatectl set-timezone Europe/Samara
sudo timedatectl set-local-rtc 0
sudo timedatectl set-ntp true
timedatectl status
Ожидаемое состояние:Подтверждено:
Time zone: Europe/Samara
System clock synchronized: yes
NTP service: active
RTC in local TZ: no
15. Запрет маршрутизации между OT-сегментами
Наличие семи интерфейсов не должно превращать файловый сервер в маршрутизатор. Перед вводом нескольких OT-адресов фиксируется явный запрет IPv4/IPv6 forwarding:
sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF'
net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0
EOF
sudo sysctl --system
Проверка:
sysctl net.ipv4.ip_forward
sysctl net.ipv6.conf.all.forwarding
Ожидается:Оба значения должны быть 0. Для многосетевого сервера также фактически используется loose reverse path filtering (rp_filter=2).
16. Временный тестовый MAIN-DATA без D2700
На момент настройки внешний P411 ещё не установлен, D2700 не подключена. Чтобы не останавливать проект, в VM 103 добавлен отдельный тестовый виртуальный диск, который временно имитирует будущий logical drive MAIN-DATA.
16.1. Диск в Proxmox
| Устройство | scsi1 |
|---|---|
| Storage | local-lvm |
| Размер | 50 GiB |
| Bus | SCSI |
| I/O thread | включён |
| Discard | включён |
Ubuntu определяет его как:
net.ipv4.ip_forwardsdb =50G disk QEMU HARDDISK
16.2. Выбор файловой системы
Для MAIN-DATA принято использовать Btrfs. Основной аргумент — необходимость нативных snapshots и последующей публикации их через Samba как Windows «Предыдущие версии». Аппаратную отказоустойчивость физических дисков обеспечивает P411/RAID50; Btrfs будет видеть один logical drive.
16.3. Создание Btrfs на тестовом диске
wipefs -n /dev/sdb
mkfs.btrfs -L MAIN-DATA-TEST /dev/sdb
blkid /dev/sdb
lsblk -f /dev/sdb
Фактические параметры тестовой FS:
LABEL=MAIN-DATA-TEST
UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c
TYPE=btrfs
Data profile: single
Metadata profile: DUP
System profile: DUP
Checksum: crc32c
Профили Metadata:DUP и System:DUP для одного Btrfs-device являются штатными. Это не заменяет аппаратный RAID и отдельную резервную копию.
16.4. Subvolume
Созданы два независимых subvolume:
mkdir -p /mnt/main-data-setup
mount /dev/sdb /mnt/main-data-setup
btrfs subvolume create /mnt/main-data-setup/shares
btrfs subvolume create /mnt/main-data-setup/clonezilla
btrfs subvolume list /mnt/main-data-setup
umount /mnt/main-data-setup
rmdir /mnt/main-data-setup
Результат:
ID 256 ... path shares
ID 257 ... path clonezilla
Логическая структура:
MAIN-DATA (Btrfs)
├── shares — рабочие SMB-данные, отдельная snapshot-политика
└── clonezilla — репозиторий образов, отдельная snapshot-политика
16.5. Постоянная точка монтирования
mkdir -p /srv/main-data
cp -a /etc/fstab "/etc/fstab.backup-$(date +%F-%H%M%S)"
Добавлена строка:
UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c /srv/main-data btrfs defaults,nofail,x-systemd.device-timeout=10s 0
net.ipv6.conf.all.forwarding = 0
Проверка:
systemctl daemon-reload
mount -av
findmnt /srv/main-data
df -hT /srv/main-data
btrfs filesystem show /srv/main-data
btrfs filesystem usage /srv/main-data
btrfs subvolume list /srv/main-data
Фактически подтверждено корректное размонтирование и повторное монтирование через /etc/fstab.
/srv/main-data. nofail позволяет Ubuntu загрузиться без внешнего массива, но файловые сервисы не должны в таком состоянии писать в пустой каталог на корневой FS.16.17. Snapper и защита от случайного удаления
Snapshots обязательны для обоих subvolume. Для shares они будут использоваться как основа Windows «Предыдущие версии». Для clonezilla они защищают редкие и критичные образы производственных машин от случайного удаления или перезаписи.
17.1. Независимые конфигурации Snapper
snapper -c shares create-config /srv/main-data/shares
snapper -c clonezilla create-config /srv/main-data/clonezilla
snapper list-configs
Результат:
Config | Subvolume
-----------+--------------------------
clonezilla | /srv/main-data/clonezilla
shares | /srv/main-data/shares
17.2. Автоматические timeline snapshots
Стандартный snapper-timeline.timer создаёт timeline snapshot примерно один раз в час. Параметры hourly/daily/weekly/monthly задают не разные задания создания, а глубину хранения и прореживания одной последовательности timeline snapshots.
Принята целевая политика для обоих subvolume:
| Класс | Количество | Смысл |
|---|---|---|
| Hourly | 72 | детальная история приблизительно за 3 суток |
| Daily | 30 | примерно 1 месяц |
| Weekly | 12 | примерно 3 месяца |
| Monthly | 12 | примерно 1 год |
| Yearly | 0 | отдельные годовые точки не хранятся |
Команды для приведения обеих конфигураций к целевой политике:
for cfg in shares clonezilla; do
snapper -c "$cfg" set-config TIMELINE_CREATE=yes
snapper -c "$cfg" set-config TIMELINE_CLEANUP=yes
snapper -c "$cfg" set-config TIMELINE_LIMIT_HOURLY=72
snapper -c "$cfg" set-config TIMELINE_LIMIT_DAILY=30
snapper -c "$cfg" set-config TIMELINE_LIMIT_WEEKLY=12
snapper -c "$cfg" set-config TIMELINE_LIMIT_MONTHLY=12
snapper -c "$cfg" set-config TIMELINE_LIMIT_YEARLY=0
done
Проверка:
snapper -c shares get-config | grep -E 'TIMELINE|SUBVOLUME'
snapper -c clonezilla get-config | grep -E 'TIMELINE|SUBVOLUME'
17.3. Systemd timers
systemctl enable --now snapper-timeline.timer
systemctl enable --now snapper-cleanup.timer
systemctl status snapper-timeline.timer --no-pager
systemctl status snapper-cleanup.timer --no-pager
systemctl list-timers 'snapper*'
snapper-timeline.timer создаёт snapshot'ы примерно каждый час. snapper-cleanup.timer выполняет ежедневное прореживание истории по заданным лимитам. TIMELINE_MIN_AGE=1800 означает минимальный возраст 30 минут до рассмотрения snapshot cleanup-механизмом.
17.4. Проверка восстановления файла
создать test-document.txt
→ snapper -c shares create --print-number --description "Before deletion test"
→ удалить test-document.txt
→ прочитать файл из .snapshots/<N>/snapshot/
→ восстановить cp -a обратно в рабочий subvolume
Файл успешно сохранился в snapshot после удаления из текущего состояния и был восстановлен.
17.5. Проверка Clonezilla
Проверена аналогичная схема с тестовым образом 32 MiB:
dd if=/dev/zero of=/srv/main-data/clonezilla/TEST-MACHINE.img bs=1M count=32
CZSNAP=$(snapper -c clonezilla create --print-number --description "Clonezilla deletion test")
rm /srv/main-data/clonezilla/TEST-MACHINE.img
ls -lh "/srv/main-data/clonezilla/.snapshots/$CZSNAP/snapshot/TEST-MACHINE.img"
cp -a "/srv/main-data/clonezilla/.snapshots/$CZSNAP/snapshot/TEST-MACHINE.img" /srv/main-data/clonezilla/
Удалённый образ остался в snapshot и был успешно восстановлен.
17.6. Ручной snapshot для особо важных образов
Почасовой timeline не гарантирует защиту файла, который был создан и удалён между двумя snapshot'ами. Поэтому после успешного создания редкого/критичного Clonezilla-образа необходимо вручную создать отдельную точку:
snapper -c clonezilla create \
--description "GOLDEN - <имя машины / назначение / дата>"
Если не указывать cleanup algorithm, поле Cleanup остаётся пустым и такой snapshot не удаляется обычной timeline-ротацией. Его удаление выполняется администратором осознанно.
MAIN-DATA. При потере всего logical drive они будут потеряны вместе. Особо критичные Clonezilla-образы должны дополнительно копироваться на CRITICAL-BACKUP, а действительно критичные данные — иметь копию вне D2700.18. План интеграции Samba, NFS и Windows «Предыдущие версии»
Следующий слой строится поверх уже проверенных Btrfs/Snapper subvolume:
/srv/main-data
├── shares
│ ├── Samba
│ ├── POSIX ACL
│ ├── Samba recycle bin
│ └── Snapper → Windows Previous Versions
│
└── clonezilla
├── NFS repository
└── Snapper snapshots
Для Samba планируется использовать модуль vfs_snapper для отображения Snapper snapshots как Shadow Copies/«Предыдущие версии», а также vfs_recycle как первый уровень защиты от случайного удаления.
Настройка ACL, локальных пользователей/групп и ALLOW_USERS/ ALLOW_GROUPS Snapper выполняется после определения структуры SMB-шар.
19. Замена тестового диска на D2700 MAIN-DATA
После получения P411 и подключения D2700:
- Создать аппаратный RAID50
MAIN-DATAна 12 × 600 ГБ. - Передать logical drive в VM 103 как отдельное стабильное block device.
- Создать на нём Btrfs.
- Создать subvolume
sharesиclonezilla. - Остановить файловые сервисы.
- Размонтировать тестовый
/dev/sdb. - Изменить UUID
/srv/main-dataв/etc/fstabна UUID реального MAIN-DATA. - Смонтировать реальный массив в тот же
/srv/main-data. - Пересоздать/проверить конфигурации Snapper на production subvolume.
- Проверить, что Samba/NFS используют те же пути и не требуют изменения структуры.
20. Текущая контрольная точка
| Этап | Состояние |
|---|---|
| Дисковая архитектура D2700 | Согласована |
| P411 / D2700 | Оборудование ещё не подключено |
ВМ SMR-SRV-OT-SHARE |
Создана, VM ID 103 |
| Ubuntu |
Установлена и базово подготовлена |
|
|
/srv/main-data |
|
clonezilla |
|
| Целевая retention-политика | 72 hourly / 30 daily / 12 weekly / 12 monthly |
| Восстановление после удаления | Проверено для обычного файла и Clonezilla-образа |
| SMB/NFS | |
17.21. Следующие этапы реализации
ЗавершитьПривестиобновлениеобеUbuntuSnapper-конфигурации к целевому лимиту 72 hourly ибазовуюпроверитьподготовкуочереднойОС.автоматический snapshot без ручного запуска service.ПроверитьСпроектироватьQEMUструктуруGuestSMB-шар,Agent,локальныечасовой поясгруппы исинхронизациюPOSIXвремени.ACL.СопоставитьУстановитьвсе интерфейсы Ubuntu сnetXпо MAC-адресам.ПолучитьSamba изафиксировать IP-адреса для VLAN 2002, 2030, 2040, 2006 и Legacy VLAN 1.Сформировать окончательный Netplan и правила маршрутизации.Выбрать файловые системы длянастроитьMAIN-DATAи.CRITICAL-BACKUPvfs_recycleОпределитьНастроитьточки монтированияvfs_snapperимодельпроверитьпередачиWindowslogical«Предыдущиеdrive P411 в ВМ.версии».- Установить NFS и
настроитьопубликоватьSamba./srv/main-data/clonezillaтолько для разрешённых сетей/клиентов. УстановитьПривязатьи настроитьSamba/NFSдлякClonezilla.наличию Настроить пользователей, группы, ACL, квоты, корзину и предыдущие версии.Настроить локальное копирование критичных данных вmount.CRITICAL-BACKUP/srv/main-data- Настроить UFW после утверждения
всехокончательныхразрешённыхSMB/NFS/SSHсетейправил. - После получения P411 подключить D2700 и
сервисов.заменить тестовый volume на productionMAIN-DATA. - Создать и подключить
CRITICAL-BACKUP, затем настроить копирование выбранных критичных данных. - Добавить мониторинг Btrfs usage, snapshot retention, mount-состояния
файлового сервераиконтрольфайловыхрезервных копий.сервисов.
18.22. Справочные материалы
- Проектная статья BIND9 — базовый шаблон сетевых сегментов и подготовки Ubuntu.
- Btrfs documentation.
- Snapper.
- Samba vfs_snapper.
- HPE
D2000 Disk EnclosuresSupport —ProductD2000/D2700features HPE D2000 Disk Enclosures — QuickSpecsHP Array Configuration Utility CLI User GuideHPи Smart ArrayController technology.