HP D2700: схема дисковых массивов и назначение хранилищ
HP D2700: схема дисковых массивов и назначение хранилищ
| Версия | 0.5 |
| Дата | 06.10.2026 |
| Статус | P411 установлен и обновлён до firmware 6.64; выполнено тестовое подключение D2700. Production RAID-массивы D2700 ещё не созданы: ожидается установка 512 MB FBWC + supercapacitor на P411 и повторная проверка работы через SAS-expander. |
| Проект | Расширение памяти сервера |
1. Назначение документа
Документ фиксирует принятую архитектуру хранения на HP ProLiant DL380 G7: физическую раскладку дисков в HP StorageWorks D2700, аппаратные RAID-массивы, назначение logical drive, резервный диск, подготовку P410i/P411 и дальнейшую интеграцию хранилища с виртуальной машиной Ubuntu Server.
В рамках этой статьи проектируются и настраиваются основное файловое хранилище, SMB/NFS, репозиторий Clonezilla, Btrfs, Snapper, Windows «Предыдущие версии», ACL и локальное резервирование выбранных данных.
Массив RECOVERY здесь описывается только как часть общей дисковой архитектуры. TFTP/PXE, восстановление Cisco IOS/IOS XE, ROMMON и связанные процедуры должны быть вынесены в отдельную Wiki-статью.
Принятое решение для D2700: два RAID 50, один RAID 1 и один общий online spare.
2. Состав оборудования
| Сервер | HP ProLiant DL380 G7 |
| Гипервизор | Proxmox VE 9.1.9 |
| Внутренний RAID-контроллер | HP Smart Array P410i, 512 MB cache, firmware 6.64 |
| Внешний RAID-контроллер | HP Smart Array P411, PCIe Slot 6, firmware 6.64 |
| Текущее состояние cache P411 | 0 MB; ожидается 512 MB FBWC + supercapacitor |
| Внешняя дисковая полка | HP StorageWorks D2700, 2U, 25 × 2.5" SFF SAS |
| Подключение D2700 | P411 external port 1E → SFF-8088 → D2700 I/O Module A, port P1 |
| Режим подключения | Single-domain; I/O Module B пока не подключён |
| Внешний SAS-кабель | SFF-8088 ↔ SFF-8088, HP 407344-002 / 408766-001 |
Порт P1 I/O-модуля D2700 используется как host/input. Порт P2 предназначен для дальнейшего каскадирования полок.
Разъёмы MFG на I/O-модулях D2700 являются сервисными диагностическими интерфейсами и не являются Ethernet-портами управления.
P411 в текущем сервере согласовал PCIe Gen2 x4 при возможности работы x8. Для текущей нагрузки файлового сервера это не является блокирующим ограничением.
3. Физическая раскладка дисков по отсекам D2700
| Отсеки | Диски | Роль | Имя |
|---|---|---|---|
| 1–12 | 12 × 600 GB SAS 10K | Основной RAID 50 | MAIN-DATA |
| 13–14 | 2 × 146 GB SAS 15K | Служебный RAID 1 | RECOVERY |
| 15 | 1 × 600 GB SAS 10K | Общий горячий резерв | GLOBAL-SPARE |
| 16–25 | 10 × 500 GB SAS 7.2K | Резервный RAID 50 | CRITICAL-BACKUP |
3.1. Карта отсеков
HP D2700 — отсеки 01–25
01 600 GB MAIN-DATA
02 600 GB MAIN-DATA
03 600 GB MAIN-DATA
04 600 GB MAIN-DATA
05 600 GB MAIN-DATA
06 600 GB MAIN-DATA
07 600 GB MAIN-DATA
08 600 GB MAIN-DATA
09 600 GB MAIN-DATA
10 600 GB MAIN-DATA
11 600 GB MAIN-DATA
12 600 GB MAIN-DATA
13 146 GB RECOVERY
14 146 GB RECOVERY
15 600 GB GLOBAL-SPARE
16 500 GB CRITICAL-BACKUP
17 500 GB CRITICAL-BACKUP
18 500 GB CRITICAL-BACKUP
19 500 GB CRITICAL-BACKUP
20 500 GB CRITICAL-BACKUP
21 500 GB CRITICAL-BACKUP
22 500 GB CRITICAL-BACKUP
23 500 GB CRITICAL-BACKUP
24 500 GB CRITICAL-BACKUP
25 500 GB CRITICAL-BACKUP
4. Конфигурация массивов
4.1. Основной массив MAIN-DATA
| Отсеки | 1–12 |
| Состав | 12 × 600 GB SAS 10K |
| RAID | RAID 50 |
| Группировка | 2 × RAID5 по 6 дисков |
| Полезная ёмкость | около 6 TB decimal / около 5.46 TiB |
| Предпочтительный stripe size | 256 KiB |
| Назначение | SMB/NFS, рабочие данные, Clonezilla и другие активные данные |
RAID 50 выдерживает отказ одного диска в каждой RAID5-подгруппе. Два отказа в одной и той же RAID5-группе до окончания rebuild приводят к потере всего logical drive.
4.2. Служебный массив RECOVERY
| Отсеки | 13–14 |
| Состав | 2 × 146 GB SAS 15K |
| RAID | RAID 1 |
| Полезная ёмкость | около 146 GB decimal / около 136 GiB |
| Назначение | будущий TFTP/PXE/Cisco recovery |
Полноразмерные образы рабочих станций Clonezilla на RECOVERY не размещаются: их основное место — MAIN-DATA.
4.3. Горячий резерв GLOBAL-SPARE
| Отсек | 15 |
| Диск | 600 GB SAS 10K |
| Роль | общий online spare для MAIN-DATA, RECOVERY и CRITICAL-BACKUP |
Один online spare может быть назначен нескольким массивам одного Smart Array. После отказа активного диска контроллер автоматически задействует spare и начинает rebuild.
4.3.1. Что происходит после отказа диска
- Smart Array фиксирует отказ физического диска.
- Диск из отсека 15 временно становится участником пострадавшего массива.
- Контроллер восстанавливает данные на spare.
- После rebuild массив снова получает штатную отказоустойчивость, но свободного hot spare временно нет.
Штатное состояние:
массив + свободный GLOBAL-SPARE
Отказ диска:
массив в rebuild → данные строятся на GLOBAL-SPARE
После rebuild:
массив снова отказоустойчив,
но диск отсека 15 временно является рабочим участником массива
4.3.2. После установки нового диска в исходный отсек
- Новый диск распознаётся как замена отказавшего.
- Данные переносятся с активированного spare на новый диск.
- Новый диск становится штатным участником массива.
- Отсек 15 снова освобождается под общий online spare.
Copy-back не является secure erase. Полное обнуление spare для возврата его в резерв не требуется.
4.3.3. Требования к заменяющему диску
- Интерфейс SAS.
- Ёмкость не меньше отказавшего диска.
- Корректное определение P411/D2700.
- Предпочтительно совпадение модели, RPM и sector format.
- Больший диск не увеличивает существующий массив автоматически.
Во время rebuild/copy-back не извлекать spare, новый диск и не отключать D2700 без необходимости.
4.4. Резервный массив CRITICAL-BACKUP
| Отсеки | 16–25 |
| Состав | 10 × 500 GB SAS 7.2K |
| RAID | RAID 50 |
| Группировка | 2 × RAID5 по 5 дисков |
| Полезная ёмкость | около 4 TB decimal / около 3.64 TiB |
| Предпочтительный stripe size | 256 KiB |
| Назначение | локальные копии выбранных критичных данных |
5. Логика использования массивов
MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── Clonezilla
│
└── выбранные критичные копии
↓
CRITICAL-BACKUP
RECOVERY
└── отдельный проект TFTP/PXE/Cisco recovery
5.1. Основные правила
MAIN-DATA— основное рабочее хранилище.CRITICAL-BACKUP— только отобранные локальные копии.CRITICAL-BACKUPне публикуется как обычная пользовательская шара.RECOVERYрезервируется под отдельный TFTP/PXE-проект.GLOBAL-SPAREне форматируется и не передаётся ОС.- RAID не заменяет резервное копирование.
CRITICAL-BACKUPне является независимым backup: оба массива находятся в одной D2700, зависят от одного P411, сервера и общей инфраструктуры питания. Для действительно критичных данных нужна дополнительная копия вне D2700.
6. Имена объектов
| Объект | Имя | Статус |
|---|---|---|
| Основной RAID 50 | MAIN-DATA |
Зафиксировано |
| Служебный RAID 1 | RECOVERY |
Зафиксировано |
| Общий горячий резерв | GLOBAL-SPARE |
Зафиксировано |
| Резервный RAID 50 | CRITICAL-BACKUP |
Зафиксировано |
7. Подготовка Smart Array P411, P410i и D2700
7.1. Первичная проверка P411
P411 установлен в PCIe Slot 6. Изначально контроллер имел firmware 1.06 и 256 MB cache-модуль HP SPS 462974-001.
1783-Slot 6 Drive Array Controller Failure!
[Controller self-test failure]
В Linux одновременно фиксировалось:
hpsa ... board not ready, timed out
Отключение батареи не изменяло результат. Тот же 256 MB cache временно проверялся во встроенном P410i; с ним P410i также переставал нормально инициализироваться.
Вывод: cache
462974-001считается неисправным и больше не используется.
7.2. Работа P411 без cache
Slot 6 HP Smart Array P411 Controller
(0MB, v1.06)
0 Logical Drives
1785-Slot 6 Drive Array Not Configured
No Drives Detected
Это подтвердило исправность самой платы P411 и позволило обновить firmware. Однако production-эксплуатация D2700 через SAS-expander в состоянии 0 MB пока не считается допустимой.
7.3. Cache и батарея встроенного P410i
Штатный cache встроенного P410i:
HP SPS 462975-001
512 MB BBWC
При диагностике использовалась несовместимая батарея более старого поколения:
HP Spare 398648-001
HP Part 381573-001
4.8 V Ni-MH
1748-Slot 0 Drive Array
Unsupported Array Accelerator Battery Attached
Array Accelerator is disabled.
Правильный battery pack для P410/P411: HP Spare 462976-001 / HP Part 460499-001.
После восстановления совместимой электроники battery pack P410i перестал выдавать 1748 и начал штатную зарядку:
1794-Slot 0 Drive Array - Array Accelerator Battery is charging.
The Array Accelerator Cache will be enabled once
The Battery has been charged.
No action is required.
Array Accelerator вручную включать не требуется: после достаточной зарядки контроллер разрешает write-back cache автоматически.
Ремонт/перепаковка старого Ni-MH battery pack является нештатной процедурой. Необходимо контролировать нагрев, отсутствие вздутия и статус батареи средствами Smart Array.
7.4. Обновление firmware P411 до 6.64
Использован Service Pack for ProLiant G7.1:
P04243_001_spp-g7.1-SPPG71.3.iso
7.4.1. Попытки Ventoy/Rufus
На старом Legacy BIOS Ventoy первоначально падал в grub>. После добавления ventoy.disk.img.xz Ventoy запускался, но SPP не мог смонтировать собственную файловую систему:
Failure to communicate with kernel device-mapper driver
Unable to mount the file system [cdrom]
Rufus также не дал стабильной рабочей загрузки SPP. В итоге использован штатный механизм HPE из самого ISO.
7.4.2. Создание USB штатным usbcreator.cmd
На 32 GB USB создан MBR и один Primary FAT32-раздел 10 GB, отмеченный Active. Остальное пространство оставлено неразмеченным.
diskpart
list disk
select disk X
clean
convert mbr
create partition primary size=10240
select partition 1
format fs=fat32 quick label=HPE_SPP
active
assign letter=G
exit
После монтирования ISO как D::
D:\usb\usbcreator.cmd D: G:
Скрипт копирует содержимое SPP, переносит boot-файлы в корень и запускает встроенный syslinux.exe.
7.4.3. Boot Order DL380 G7
Стабильная загрузка USB началась после установки USB Controller первым устройством в BIOS Boot Order. После сервисных работ порядок загрузки следует вернуть к системному logical drive Proxmox.
7.4.4. Результат
Installed Version: 1.06
Available Version: 6.64
Result: P411 firmware 6.64
Slot 6 HP Smart Array P411 Controller
(0MB, v6.64)
0 Logical Drives
На первом POST после обновления наблюдалось восстановление bootstrap NVRAM. Если подобное сообщение повторяется на каждом cold boot, требуется отдельная диагностика; единичное появление после перепрошивки само по себе не считается критичным.
7.5. Состояние остальных firmware по SPP G7.1
| Компонент | Состояние |
|---|---|
| P410i | 6.64 |
| P411 | 6.64 |
| System ROM DL380 G7 | 2015.08.16 — актуально для используемого SPP |
| iLO 3 | 1.88 — актуально для используемого SPP |
| HP NC382i | Bootcode 5.2.3 / iSCSI 7.4.2 / NCSI 2.0.12 — Already up-to-date |
| EH0146FARWD SAS HDD | HPDD — Already up-to-date |
Компоненты со статусом Already up-to-date принудительно через Force не перепрошиваются.
7.6. Тестовое подключение D2700
P411 external port 1E
│
│ SFF-8088
▼
D2700 I/O Module A
Port P1
D2700 включается первой, затем запускается сервер. При P411 с 0 MB cache POST показал:
1746-Slot 6 Drive Array - Unsupported Storage Connection Detected
SAS connection via expander is not supported on this controller model.
Access to all storage has been disabled until the expander and connections
beyond it are detached or controller is upgraded.
D2700 использует SAS-expander. В текущем состоянии production-доступ к дискам блокируется, поэтому массивы не создаются.
Причина 1746 пока не считается окончательно доказанной. Первое действие — установить заказанный 512 MB FBWC + supercapacitor и повторить cold boot. Если 1746 сохранится, далее проверяются firmware D2700/I/O-модуля, кабель, topology и совместимость enclosure.
7.7. Firmware D2700
До создания RAID необходимо зафиксировать firmware enclosure/I/O-модуля через SSA и при необходимости обновить D2700 до рекомендованной для данной связки версии. Прошивка полки выполняется только после стабильного обнаружения enclosure P411.
7.8. Ошибка 209 и режим Online Spare Memory
209-Invalid Online Spare Memory Configuration
На каждом процессоре установлено по 5 DIMM в порядке A, B, C, D, E. Для Advanced ECC такая конфигурация допустима, но для Online Spare каналы несимметричны:
Channel 1: A + D
Channel 2: B + E
Channel 3: C
Для текущей конфигурации рекомендуется использовать Advanced ECC. Если потребуется Online Spare Memory, необходимо привести конфигурацию каналов к поддерживаемой симметричной схеме, например добавить соответствующие DIMM в F.
7.9. Контроль перед созданием production RAID
- Установить 512 MB FBWC на P411.
- Подключить supercapacitor.
- Выполнить cold boot.
- Убедиться, что P411 определяется с установленным объёмом cache.
- Проверить отсутствие ошибки 1746.
- Открыть HPE Smart Storage Administrator.
- Проверить D2700 и все физические диски.
- Зафиксировать firmware enclosure.
- Зафиксировать bay, model, serial, capacity, RPM и firmware каждого диска.
- Проверить отсутствие
FailedиPredictive Failure. - Только после этого создавать RAID.
8. Развёртывание виртуальной машины файлового сервера
Файловый сервер работает отдельной VM Ubuntu Server 24.04.4 LTS. ОС и конфигурация находятся на внутреннем P410i, а production-данные после ввода D2700 должны находиться на logical drive внешнего P411.
8.1. Фактические параметры VM
| Proxmox VE | 9.1.9 |
| VM ID | 103 |
| Имя VM | SMR-SRV-OT-SHARE |
| Hostname | smr-srv-ot-share |
| ОС | Ubuntu Server 24.04.4 LTS |
| CPU | 4 vCPU, CPU type host |
| RAM | 8 GiB |
| BIOS | SeaBIOS |
| Machine | i440fx |
| SCSI Controller | VirtIO SCSI single |
| Системный диск | scsi0, 100 GiB, local-lvm |
| Сетевые карты | 7 × VirtIO |
8.2. Внутреннее хранилище Proxmox
| Контроллер | P410i |
| Firmware | 6.64 |
| Cache | 512 MB BBWC |
| Физические диски | 8 × 146 GB SAS |
| Скорость | 7 × 10K RPM + 1 × 15K RPM |
| RAID | RAID 50, две RAID5-группы по 4 диска |
| Logical Drive | около 880.69 GB decimal / около 820.2 GiB в Linux |
| Hot spare | нет |
Один 15K-диск среди семи 10K не является причиной для переделки исправного массива. Дополнительная скорость 15K в данном RAID практически не используется, однако менять исправный диск только ради одинакового RPM не требуется.
Внутренний P410i используется для Proxmox, системных дисков VM и временного тестового MAIN-DATA. Production-данные файлового сервера должны находиться на D2700/P411.
9. Системный диск и файловая система ОС
Virtual Disk: 100 GiB
└── LVM
└── / — ext4
└── максимально доступный объём
- Корневая файловая система —
ext4. - Разметка — LVM.
- LVM encryption не используется.
- Отдельные
/var,/home,/srvна системном диске не создаются. - Корень имеет около 95.9 GiB.
9.1. Контроль разметки
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS
df -hT /
pvs
vgs
lvs
10. Сетевые интерфейсы Proxmox и Ubuntu
VM многосетевая, но не маршрутизирует трафик между OT-сегментами. На переходном этапе одновременно используются Legacy VLAN 1 и новые VLAN.
| Proxmox | Ubuntu | MAC | Bridge | Сегмент | Адрес |
|---|---|---|---|---|---|
net0 |
ens18 |
BC:24:11:5D:D9:D2 | vmbr0 |
Временная сеть настройки | 192.168.1.229/24 |
net1 |
ens19 |
BC:24:11:46:F2:89 | vmbr1 |
Production management VLAN 2100 | 10.44.100.229/24 |
net2 |
ens20 |
BC:24:11:10:B7:F1 | vmbr3 |
Розлив VLAN 2002 | 172.16.68.229/23 |
net3 |
ens21 |
BC:24:11:26:DB:1B | vmbr4 |
Пивопроизводство VLAN 2030 | сейчас без IPv4; затем 172.16.66.229/23 |
net4 |
ens22 |
BC:24:11:9C:F1:D6 | vmbr5 |
Утилиты VLAN 2040 | 172.16.70.229/23 |
net5 |
ens23 |
BC:24:11:32:9F:50 | vmbr6 |
Legacy OT VLAN 1 | 10.255.0.229/16 + 172.16.66.229/23 |
net6 |
enp2s1 |
BC:24:11:67:35:97 | vmbr7 |
АСТУЭ VLAN 2006 | 172.17.14.229/24 |
Адрес
172.16.66.229не должен одновременно присутствовать наens23иens21. После миграции 172.16.66.0/23 в VLAN2030 адрес переносится с Legacy-интерфейса наens21.
10.1. Фактические адреса
lo UNKNOWN 127.0.0.1/8 ::1/128
ens18 UP 192.168.1.229/24
ens19 UP 10.44.100.229/24
ens20 UP 172.16.68.229/23
ens21 UP
ens22 UP 172.16.70.229/23
ens23 UP 10.255.0.229/16 172.16.66.229/23
enp2s1 UP 172.17.14.229/24
10.2. Default gateway и DNS
Пока default gateway — 192.168.1.1 через ens18. После вывода временной сети default route должен перейти на 10.44.100.1 через ens19.
DNS на OT-интерфейсах не используется; доступ к SMB/NFS/Clonezilla/SSH планируется по IP. Временный DNS 192.168.1.1 используется только через ens18.
10.3. Netplan и cloud-init
Рабочий файл: /etc/netplan/50-cloud-init.yaml, права 600.
/etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
network: {config: disabled}
Проверка изменений:
sudo netplan generate
sudo netplan try
ip -br address
ip route
resolvectl status
10.4. Проверенная связность
10.255.0.229 → 10.255.0.53172.16.66.229 → 172.16.66.53172.16.68.229 → 172.16.68.53172.16.70.229 → 172.16.70.53172.17.14.229 → 172.17.14.5310.44.100.229 → 10.44.100.1
11. Установка Ubuntu Server 24.04
11.1. Параметры установщика
- Ubuntu Server 24.04.4 LTS.
- OpenSSH Server установлен.
- Docker/Featured Server Snaps при установке не устанавливались.
- Временная сеть:
192.168.1.229/24, gateway/DNS192.168.1.1.
11.2. Hostname
sudo hostnamectl set-hostname smr-srv-ot-share
В /etc/hosts:
127.0.1.1 smr-srv-ot-share
Подтверждено:
Static hostname: smr-srv-ot-share
Operating System: Ubuntu 24.04.4 LTS
Kernel: Linux 6.8.0-137-generic
Virtualization: kvm
12. Базовая подготовка Ubuntu
sudo apt install -y \
ca-certificates curl nano openssl iputils-ping tcpdump arping \
bash-completion lsof qemu-guest-agent systemd-timesyncd ufw \
ethtool rsync acl attr
Для Btrfs/Snapper:
sudo apt install -y btrfs-progs snapper
Samba/NFS и UFW-правила вводятся только после полной проверки production storage.
13. QEMU Guest Agent
sudo systemctl enable --now qemu-guest-agent
systemctl status qemu-guest-agent --no-pager
ls -l /dev/virtio-ports/
Подтверждено active (running) и наличие /dev/virtio-ports/org.qemu.guest_agent.0.
14. Часовой пояс и синхронизация времени
sudo timedatectl set-timezone Europe/Samara
sudo timedatectl set-local-rtc 0
sudo timedatectl set-ntp true
timedatectl status
Time zone: Europe/Samara
System clock synchronized: yes
NTP service: active
RTC in local TZ: no
15. Запрет маршрутизации между OT-сегментами
sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF'
net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0
EOF
sudo sysctl --system
Проверка:
sysctl net.ipv4.ip_forward
sysctl net.ipv6.conf.all.forwarding
Оба значения должны быть 0. Для многосетевого сервера используется loose reverse path filtering: rp_filter=2.
16. Временный тестовый MAIN-DATA до ввода production D2700
Тестовый MAIN-DATA был создан до ввода P411/D2700 и остаётся безопасным стендом для проверки Btrfs/Snapper до готовности production logical drive.
Сейчас P411 уже установлен и обновлён до 6.64, а D2700 физически подключалась для проверки. Production MAIN-DATA ещё не создан: ожидается FBWC + supercapacitor и повторная проверка SAS-expander.
16.1. Тестовый диск
| Устройство | scsi1 |
| Storage | local-lvm |
| Размер | 50 GiB |
| Bus | SCSI |
| I/O thread | включён |
| Discard | включён |
В Ubuntu: /dev/sdb, 50 GiB.
16.2. Файловая система
Для MAIN-DATA выбран Btrfs из-за snapshots и будущей интеграции Windows «Предыдущие версии». Аппаратную отказоустойчивость обеспечивает P411 RAID50.
Btrfs RAID5/RAID6 поверх аппаратного RAID не используется. Для Btrfs production MAIN-DATA будет одним block device с профилем SINGLE.
16.3. Создание Btrfs на тестовом диске
wipefs -n /dev/sdb
mkfs.btrfs -L MAIN-DATA-TEST /dev/sdb
blkid /dev/sdb
lsblk -f /dev/sdb
LABEL=MAIN-DATA-TEST
UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c
TYPE=btrfs
Data profile: single
Metadata profile: DUP
System profile: DUP
Checksum: crc32c
16.4. Subvolume
mkdir -p /mnt/main-data-setup
mount /dev/sdb /mnt/main-data-setup
btrfs subvolume create /mnt/main-data-setup/shares
btrfs subvolume create /mnt/main-data-setup/clonezilla
btrfs subvolume list /mnt/main-data-setup
umount /mnt/main-data-setup
rmdir /mnt/main-data-setup
MAIN-DATA (Btrfs)
├── shares
└── clonezilla
16.5. Постоянная точка монтирования
mkdir -p /srv/main-data
cp -a /etc/fstab "/etc/fstab.backup-$(date +%F-%H%M%S)"
Тестовая строка /etc/fstab:
UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c /srv/main-data btrfs defaults,nofail,x-systemd.device-timeout=10s 0 0
Проверка:
systemctl daemon-reload
mount -av
findmnt /srv/main-data
df -hT /srv/main-data
btrfs filesystem show /srv/main-data
btrfs filesystem usage /srv/main-data
btrfs subvolume list /srv/main-data
После установки Samba/NFS сервисы должны зависеть от успешного mount
/srv/main-data. Иначе при отсутствии D2700 возможна запись в каталог системной root FS.
17. Snapper и защита от случайного удаления
Snapshots обязательны для shares и clonezilla.
17.1. Конфигурации Snapper
snapper -c shares create-config /srv/main-data/shares
snapper -c clonezilla create-config /srv/main-data/clonezilla
snapper list-configs
Config | Subvolume
-----------+--------------------------
clonezilla | /srv/main-data/clonezilla
shares | /srv/main-data/shares
17.2. Целевая timeline-политика
| Класс | Количество | Назначение |
|---|---|---|
| Hourly | 72 | около 3 суток детальной истории |
| Daily | 30 | около месяца |
| Weekly | 12 | около 3 месяцев |
| Monthly | 12 | около года |
| Yearly | 0 | отдельные годовые точки не используются |
Важно: 72 hourly — целевое значение для обеих конфигураций. Ранее фактически использовались меньшие лимиты; перед production вводом необходимо ещё раз проверить текущее состояние через snapper get-config.
for cfg in shares clonezilla; do
snapper -c "$cfg" set-config TIMELINE_CREATE=yes
snapper -c "$cfg" set-config TIMELINE_CLEANUP=yes
snapper -c "$cfg" set-config TIMELINE_LIMIT_HOURLY=72
snapper -c "$cfg" set-config TIMELINE_LIMIT_DAILY=30
snapper -c "$cfg" set-config TIMELINE_LIMIT_WEEKLY=12
snapper -c "$cfg" set-config TIMELINE_LIMIT_MONTHLY=12
snapper -c "$cfg" set-config TIMELINE_LIMIT_YEARLY=0
done
17.3. Systemd timers
systemctl enable --now snapper-timeline.timer
systemctl enable --now snapper-cleanup.timer
systemctl status snapper-timeline.timer --no-pager
systemctl status snapper-cleanup.timer --no-pager
systemctl list-timers 'snapper*'
17.4. Проверка восстановления файла
17.5. Проверка Clonezilla
Аналогично проверен тестовый образ 32 MiB. После удаления он сохранился в snapshot и был восстановлен.
17.6. Ручной snapshot для особо важных образов
snapper -c clonezilla create \
--description "GOLDEN - <имя машины / назначение / дата>"
Если cleanup algorithm не задан, такой snapshot не удаляется обычной timeline-ротацией.
Snapshot не является backup. Потеря всего MAIN-DATA приведёт к потере и текущих данных, и его snapshots. Критичные Clonezilla-образы дополнительно копируются на CRITICAL-BACKUP, а действительно критичные данные — ещё и за пределы D2700.
18. План интеграции Samba, NFS и Windows «Предыдущие версии»
/srv/main-data
├── shares
│ ├── Samba
│ ├── POSIX ACL
│ ├── vfs_recycle
│ └── vfs_snapper → Windows Previous Versions
│
└── clonezilla
├── NFS repository
└── Snapper snapshots
Для Samba планируется vfs_snapper для Shadow Copies/«Предыдущих версий» и vfs_recycle как первый уровень защиты от случайного удаления.
Пользователи/группы, POSIX ACL, ALLOW_USERS/ALLOW_GROUPS Snapper и единая UID/GID-модель для SMB/NFS определяются перед вводом файловых сервисов.
19. Переход с тестового MAIN-DATA на production D2700
19.1. Аппаратная готовность
- Установить 512 MB FBWC на P411.
- Подключить supercapacitor.
- Выполнить cold boot.
- Проверить POST P411.
- Убедиться, что 1746 исчезла.
- Запустить HPE Smart Storage Administrator.
- Проверить D2700, enclosure firmware и все physical drive.
- Не создавать RAID при Failed/Predictive Failure.
19.2. Создание массивов
| Отсеки | Имя | RAID |
|---|---|---|
| 1–12 | MAIN-DATA |
RAID50, 2 × 6-disk RAID5 |
| 13–14 | RECOVERY |
RAID1 |
| 15 | GLOBAL-SPARE |
Online spare |
| 16–25 | CRITICAL-BACKUP |
RAID50, 2 × 5-disk RAID5 |
19.3. Передача MAIN-DATA в VM 103
- Определить logical drive на Proxmox.
- Использовать стабильный путь
/dev/disk/by-id/.... - Передать logical drive в VM 103 отдельным block device.
- Не форматировать его на Proxmox.
- Единственным владельцем файловой системы должна быть Ubuntu VM.
19.4. Создание production Btrfs
- Остановить Samba/NFS, если они уже установлены.
- Размонтировать тестовый MAIN-DATA.
- Создать Btrfs на production logical drive.
- Создать subvolume
sharesиclonezilla. - Получить новый UUID.
- Заменить UUID в
/etc/fstab. - Смонтировать в тот же
/srv/main-data. - Проверить/пересоздать Snapper configs.
- Повторно проверить snapshot и restore.
- Только после этого запускать файловые сервисы.
20. Текущая контрольная точка
| Этап | Состояние |
|---|---|
| Дисковая архитектура D2700 | Согласована |
| P410i | 512 MB, firmware 6.64, внутренний RAID50 работает |
| P410i Battery / Array Accelerator | Батарея принята контроллером; идёт штатная зарядка, cache должен включиться автоматически |
| P411 | Установлен в Slot 6, firmware обновлён 1.06 → 6.64 |
| Неисправный 256 MB cache | 462974-001 исключён из эксплуатации |
| Новый cache P411 | Ожидается 512 MB FBWC + supercapacitor |
| D2700 | Тестово подключена P411 1E → I/O A P1 |
| Ошибка P411 + D2700 | 1746 при P411 с 0 MB cache; production-доступ заблокирован |
| SPP G7.1 | Рабочий USB создан штатным usbcreator.cmd |
| System ROM / iLO / NIC / HDD firmware | SPP показывает актуальное состояние |
| Память | 5 DIMM на CPU A–E; Online Spare invalid, рекомендуемый режим Advanced ECC |
| VM SMR-SRV-OT-SHARE | Создана, VM ID 103 |
| Ubuntu | 24.04.4 LTS, базовая подготовка выполнена |
| Сеть | Текущие адреса назначены; VLAN2030 ожидает миграции 172.16.66.0/23 |
| IP forwarding | Отключён |
| Тестовый MAIN-DATA | 50 GiB, Btrfs, /srv/main-data |
| Btrfs subvolume | shares и clonezilla |
| Snapper | Конфигурации и восстановление проверены |
| Целевая retention-политика | 72 hourly / 30 daily / 12 weekly / 12 monthly |
| Production RAID D2700 | Не создан |
| SMB/NFS | Следующий программный этап после production storage |
21. Следующие этапы реализации
- Получить и установить 512 MB FBWC + supercapacitor на P411.
- Выполнить cold boot и проверить P411/cache/отсутствие 1746.
- Открыть SSA и проверить D2700, enclosure firmware и все 25 bays.
- Зафиксировать inventory дисков: bay, model, serial, capacity, RPM, firmware, health.
- При необходимости обновить firmware D2700 до создания RAID.
- Создать MAIN-DATA, RECOVERY, CRITICAL-BACKUP и назначить GLOBAL-SPARE.
- Сохранить отчёт Smart Array после создания массивов.
- Передать MAIN-DATA в VM 103 через
/dev/disk/by-id. - Пересоздать Btrfs на production MAIN-DATA с тем же
/srv/main-data. - Проверить Snapper и restore уже на production storage.
- Проверить фактический лимит 72 hourly в обеих Snapper-конфигурациях.
- Спроектировать SMB-шары, локальные группы и POSIX ACL.
- Настроить Samba +
vfs_recycle+vfs_snapper. - Проверить Windows «Предыдущие версии».
- Настроить NFS для Clonezilla только для разрешённых сетей/клиентов.
- Привязать Samba/NFS к успешному mount
/srv/main-data. - Настроить UFW после утверждения SMB/NFS/SSH правил.
- Настроить CRITICAL-BACKUP и копирование выбранных критичных данных.
- Добавить мониторинг P410i/P411, physical drive health, Btrfs, snapshots, mount и сервисов.
22. Порядок включения и выключения D2700
22.1. Штатное включение
- Подать питание на оба блока питания D2700.
- Включить D2700 и дождаться завершения инициализации.
- Включить DL380 G7.
- Проверить POST P411 и доступность enclosure/logical drive.
D2700 ON
↓
инициализация полки
↓
DL380 G7 ON
↓
P411 обнаруживает готовое storage
22.2. Штатное выключение
- Корректно остановить VM.
- Корректно остановить Proxmox/DL380.
- Дождаться полного выключения сервера.
- Перевести D2700 в Standby.
- При необходимости снять AC с блоков питания полки.
22.3. Автоматический запуск после восстановления питания
Поведение D2700 после полного снятия и возврата AC необходимо отдельно проверить в рабочей конфигурации. Желаемая последовательность:
AC восстановлено
↓
D2700 запускается
↓
полка проходит инициализацию
↓
DL380 G7 запускается с задержкой
↓
P411 обнаруживает готовые logical drive
На DL380 G7 целесообразно настроить автоматический запуск с задержкой, чтобы D2700 успевала инициализироваться раньше хоста.