Skip to main content

HP D2700: схема дисковых массивов и назначение хранилищ

HP D2700: схема дисковых массивов и назначение хранилищ

Версия 0.5
Дата 06.10.2026
Статус P411 установлен и обновлён до firmware 6.64; выполнено тестовое подключение D2700. Production RAID-массивы D2700 ещё не созданы: ожидается установка 512 MB FBWC + supercapacitor на P411 и повторная проверка работы через SAS-expander.
Проект Расширение памяти сервера

1. Назначение документа

Документ фиксирует принятую архитектуру хранения на HP ProLiant DL380 G7: физическую раскладку дисков в HP StorageWorks D2700, аппаратные RAID-массивы, назначение logical drive, резервный диск, подготовку P410i/P411 и дальнейшую интеграцию хранилища с виртуальной машиной Ubuntu Server.

В рамках этой статьи проектируются и настраиваются основное файловое хранилище, SMB/NFS, репозиторий Clonezilla, Btrfs, Snapper, Windows «Предыдущие версии», ACL и локальное резервирование выбранных данных.

Массив RECOVERY здесь описывается только как часть общей дисковой архитектуры. TFTP/PXE, восстановление Cisco IOS/IOS XE, ROMMON и связанные процедуры должны быть вынесены в отдельную Wiki-статью.

Принятое решение для D2700: два RAID 50, один RAID 1 и один общий online spare.

2. Состав оборудования

Сервер HP ProLiant DL380 G7
Гипервизор Proxmox VE 9.1.9
Внутренний RAID-контроллер HP Smart Array P410i, 512 MB cache, firmware 6.64
Внешний RAID-контроллер HP Smart Array P411, PCIe Slot 6, firmware 6.64
Текущее состояние cache P411 0 MB; ожидается 512 MB FBWC + supercapacitor
Внешняя дисковая полка HP StorageWorks D2700, 2U, 25 × 2.5" SFF SAS
Подключение D2700 P411 external port 1E → SFF-8088 → D2700 I/O Module A, port P1
Режим подключения Single-domain; I/O Module B пока не подключён
Внешний SAS-кабель SFF-8088 ↔ SFF-8088, HP 407344-002 / 408766-001

Порт P1 I/O-модуля D2700 используется как host/input. Порт P2 предназначен для дальнейшего каскадирования полок.

Разъёмы MFG на I/O-модулях D2700 являются сервисными диагностическими интерфейсами и не являются Ethernet-портами управления.

P411 в текущем сервере согласовал PCIe Gen2 x4 при возможности работы x8. Для текущей нагрузки файлового сервера это не является блокирующим ограничением.

3. Физическая раскладка дисков по отсекам D2700

Отсеки Диски Роль Имя
1–12 12 × 600 GB SAS 10K Основной RAID 50 MAIN-DATA
13–14 2 × 146 GB SAS 15K Служебный RAID 1 RECOVERY
15 1 × 600 GB SAS 10K Общий горячий резерв GLOBAL-SPARE
16–25 10 × 500 GB SAS 7.2K Резервный RAID 50 CRITICAL-BACKUP

3.1. Карта отсеков

HP D2700 — отсеки 01–25

01  600 GB  MAIN-DATA
02  600 GB  MAIN-DATA
03  600 GB  MAIN-DATA
04  600 GB  MAIN-DATA
05  600 GB  MAIN-DATA
06  600 GB  MAIN-DATA
07  600 GB  MAIN-DATA
08  600 GB  MAIN-DATA
09  600 GB  MAIN-DATA
10  600 GB  MAIN-DATA
11  600 GB  MAIN-DATA
12  600 GB  MAIN-DATA

13  146 GB  RECOVERY
14  146 GB  RECOVERY

15  600 GB  GLOBAL-SPARE

16  500 GB  CRITICAL-BACKUP
17  500 GB  CRITICAL-BACKUP
18  500 GB  CRITICAL-BACKUP
19  500 GB  CRITICAL-BACKUP
20  500 GB  CRITICAL-BACKUP
21  500 GB  CRITICAL-BACKUP
22  500 GB  CRITICAL-BACKUP
23  500 GB  CRITICAL-BACKUP
24  500 GB  CRITICAL-BACKUP
25  500 GB  CRITICAL-BACKUP

4. Конфигурация массивов

4.1. Основной массив MAIN-DATA

Отсеки 1–12
Состав 12 × 600 GB SAS 10K
RAID RAID 50
Группировка 2 × RAID5 по 6 дисков
Полезная ёмкость около 6 TB decimal / около 5.46 TiB
Предпочтительный stripe size 256 KiB
Назначение SMB/NFS, рабочие данные, Clonezilla и другие активные данные

RAID 50 выдерживает отказ одного диска в каждой RAID5-подгруппе. Два отказа в одной и той же RAID5-группе до окончания rebuild приводят к потере всего logical drive.

4.2. Служебный массив RECOVERY

Отсеки 13–14
Состав 2 × 146 GB SAS 15K
RAID RAID 1
Полезная ёмкость около 146 GB decimal / около 136 GiB
Назначение будущий TFTP/PXE/Cisco recovery

Полноразмерные образы рабочих станций Clonezilla на RECOVERY не размещаются: их основное место — MAIN-DATA.

4.3. Горячий резерв GLOBAL-SPARE

Отсек 15
Диск 600 GB SAS 10K
Роль общий online spare для MAIN-DATA, RECOVERY и CRITICAL-BACKUP

Один online spare может быть назначен нескольким массивам одного Smart Array. После отказа активного диска контроллер автоматически задействует spare и начинает rebuild.

4.3.1. Что происходит после отказа диска

  1. Smart Array фиксирует отказ физического диска.
  2. Диск из отсека 15 временно становится участником пострадавшего массива.
  3. Контроллер восстанавливает данные на spare.
  4. После rebuild массив снова получает штатную отказоустойчивость, но свободного hot spare временно нет.
Штатное состояние:
массив + свободный GLOBAL-SPARE

Отказ диска:
массив в rebuild → данные строятся на GLOBAL-SPARE

После rebuild:
массив снова отказоустойчив,
но диск отсека 15 временно является рабочим участником массива

4.3.2. После установки нового диска в исходный отсек

  1. Новый диск распознаётся как замена отказавшего.
  2. Данные переносятся с активированного spare на новый диск.
  3. Новый диск становится штатным участником массива.
  4. Отсек 15 снова освобождается под общий online spare.

Copy-back не является secure erase. Полное обнуление spare для возврата его в резерв не требуется.

4.3.3. Требования к заменяющему диску

  • Интерфейс SAS.
  • Ёмкость не меньше отказавшего диска.
  • Корректное определение P411/D2700.
  • Предпочтительно совпадение модели, RPM и sector format.
  • Больший диск не увеличивает существующий массив автоматически.

Во время rebuild/copy-back не извлекать spare, новый диск и не отключать D2700 без необходимости.

4.4. Резервный массив CRITICAL-BACKUP

Отсеки 16–25
Состав 10 × 500 GB SAS 7.2K
RAID RAID 50
Группировка 2 × RAID5 по 5 дисков
Полезная ёмкость около 4 TB decimal / около 3.64 TiB
Предпочтительный stripe size 256 KiB
Назначение локальные копии выбранных критичных данных

5. Логика использования массивов

MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── Clonezilla
        │
        └── выбранные критичные копии
                ↓
        CRITICAL-BACKUP

RECOVERY
└── отдельный проект TFTP/PXE/Cisco recovery

5.1. Основные правила

  • MAIN-DATA — основное рабочее хранилище.
  • CRITICAL-BACKUP — только отобранные локальные копии.
  • CRITICAL-BACKUP не публикуется как обычная пользовательская шара.
  • RECOVERY резервируется под отдельный TFTP/PXE-проект.
  • GLOBAL-SPARE не форматируется и не передаётся ОС.
  • RAID не заменяет резервное копирование.

CRITICAL-BACKUP не является независимым backup: оба массива находятся в одной D2700, зависят от одного P411, сервера и общей инфраструктуры питания. Для действительно критичных данных нужна дополнительная копия вне D2700.

6. Имена объектов

Объект Имя Статус
Основной RAID 50 MAIN-DATA Зафиксировано
Служебный RAID 1 RECOVERY Зафиксировано
Общий горячий резерв GLOBAL-SPARE Зафиксировано
Резервный RAID 50 CRITICAL-BACKUP Зафиксировано

7. Подготовка Smart Array P411, P410i и D2700

7.1. Первичная проверка P411

P411 установлен в PCIe Slot 6. Изначально контроллер имел firmware 1.06 и 256 MB cache-модуль HP SPS 462974-001.

1783-Slot 6 Drive Array Controller Failure!
[Controller self-test failure]

В Linux одновременно фиксировалось:

hpsa ... board not ready, timed out

Отключение батареи не изменяло результат. Тот же 256 MB cache временно проверялся во встроенном P410i; с ним P410i также переставал нормально инициализироваться.

Вывод: cache 462974-001 считается неисправным и больше не используется.

7.2. Работа P411 без cache

Slot 6 HP Smart Array P411 Controller
(0MB, v1.06)
0 Logical Drives

1785-Slot 6 Drive Array Not Configured
No Drives Detected

Это подтвердило исправность самой платы P411 и позволило обновить firmware. Однако production-эксплуатация D2700 через SAS-expander в состоянии 0 MB пока не считается допустимой.

7.3. Cache и батарея встроенного P410i

Штатный cache встроенного P410i:

HP SPS 462975-001
512 MB BBWC

При диагностике использовалась несовместимая батарея более старого поколения:

HP Spare 398648-001
HP Part 381573-001
4.8 V Ni-MH
1748-Slot 0 Drive Array
Unsupported Array Accelerator Battery Attached

Array Accelerator is disabled.

Правильный battery pack для P410/P411: HP Spare 462976-001 / HP Part 460499-001.

После восстановления совместимой электроники battery pack P410i перестал выдавать 1748 и начал штатную зарядку:

1794-Slot 0 Drive Array - Array Accelerator Battery is charging.
The Array Accelerator Cache will be enabled once
The Battery has been charged.
No action is required.

Array Accelerator вручную включать не требуется: после достаточной зарядки контроллер разрешает write-back cache автоматически.

Ремонт/перепаковка старого Ni-MH battery pack является нештатной процедурой. Необходимо контролировать нагрев, отсутствие вздутия и статус батареи средствами Smart Array.

7.4. Обновление firmware P411 до 6.64

Использован Service Pack for ProLiant G7.1:

P04243_001_spp-g7.1-SPPG71.3.iso

7.4.1. Попытки Ventoy/Rufus

На старом Legacy BIOS Ventoy первоначально падал в grub>. После добавления ventoy.disk.img.xz Ventoy запускался, но SPP не мог смонтировать собственную файловую систему:

Failure to communicate with kernel device-mapper driver
Unable to mount the file system [cdrom]

Rufus также не дал стабильной рабочей загрузки SPP. В итоге использован штатный механизм HPE из самого ISO.

7.4.2. Создание USB штатным usbcreator.cmd

На 32 GB USB создан MBR и один Primary FAT32-раздел 10 GB, отмеченный Active. Остальное пространство оставлено неразмеченным.

diskpart
list disk
select disk X
clean
convert mbr
create partition primary size=10240
select partition 1
format fs=fat32 quick label=HPE_SPP
active
assign letter=G
exit

После монтирования ISO как D::

D:\usb\usbcreator.cmd D: G:

Скрипт копирует содержимое SPP, переносит boot-файлы в корень и запускает встроенный syslinux.exe.

7.4.3. Boot Order DL380 G7

Стабильная загрузка USB началась после установки USB Controller первым устройством в BIOS Boot Order. После сервисных работ порядок загрузки следует вернуть к системному logical drive Proxmox.

7.4.4. Результат

Installed Version: 1.06
Available Version: 6.64
Result: P411 firmware 6.64
Slot 6 HP Smart Array P411 Controller
(0MB, v6.64)
0 Logical Drives

На первом POST после обновления наблюдалось восстановление bootstrap NVRAM. Если подобное сообщение повторяется на каждом cold boot, требуется отдельная диагностика; единичное появление после перепрошивки само по себе не считается критичным.

7.5. Состояние остальных firmware по SPP G7.1

Компонент Состояние
P410i 6.64
P411 6.64
System ROM DL380 G7 2015.08.16 — актуально для используемого SPP
iLO 3 1.88 — актуально для используемого SPP
HP NC382i Bootcode 5.2.3 / iSCSI 7.4.2 / NCSI 2.0.12 — Already up-to-date
EH0146FARWD SAS HDD HPDD — Already up-to-date

Компоненты со статусом Already up-to-date принудительно через Force не перепрошиваются.

7.6. Тестовое подключение D2700

P411 external port 1E
        │
        │ SFF-8088
        ▼
D2700 I/O Module A
Port P1

D2700 включается первой, затем запускается сервер. При P411 с 0 MB cache POST показал:

1746-Slot 6 Drive Array - Unsupported Storage Connection Detected
SAS connection via expander is not supported on this controller model.

Access to all storage has been disabled until the expander and connections
beyond it are detached or controller is upgraded.

D2700 использует SAS-expander. В текущем состоянии production-доступ к дискам блокируется, поэтому массивы не создаются.

Причина 1746 пока не считается окончательно доказанной. Первое действие — установить заказанный 512 MB FBWC + supercapacitor и повторить cold boot. Если 1746 сохранится, далее проверяются firmware D2700/I/O-модуля, кабель, topology и совместимость enclosure.

7.7. Firmware D2700

До создания RAID необходимо зафиксировать firmware enclosure/I/O-модуля через SSA и при необходимости обновить D2700 до рекомендованной для данной связки версии. Прошивка полки выполняется только после стабильного обнаружения enclosure P411.

7.8. Ошибка 209 и режим Online Spare Memory

209-Invalid Online Spare Memory Configuration

На каждом процессоре установлено по 5 DIMM в порядке A, B, C, D, E. Для Advanced ECC такая конфигурация допустима, но для Online Spare каналы несимметричны:

Channel 1: A + D
Channel 2: B + E
Channel 3: C

Для текущей конфигурации рекомендуется использовать Advanced ECC. Если потребуется Online Spare Memory, необходимо привести конфигурацию каналов к поддерживаемой симметричной схеме, например добавить соответствующие DIMM в F.

7.9. Контроль перед созданием production RAID

  1. Установить 512 MB FBWC на P411.
  2. Подключить supercapacitor.
  3. Выполнить cold boot.
  4. Убедиться, что P411 определяется с установленным объёмом cache.
  5. Проверить отсутствие ошибки 1746.
  6. Открыть HPE Smart Storage Administrator.
  7. Проверить D2700 и все физические диски.
  8. Зафиксировать firmware enclosure.
  9. Зафиксировать bay, model, serial, capacity, RPM и firmware каждого диска.
  10. Проверить отсутствие Failed и Predictive Failure.
  11. Только после этого создавать RAID.

8. Развёртывание виртуальной машины файлового сервера

Файловый сервер работает отдельной VM Ubuntu Server 24.04.4 LTS. ОС и конфигурация находятся на внутреннем P410i, а production-данные после ввода D2700 должны находиться на logical drive внешнего P411.

8.1. Фактические параметры VM

Proxmox VE 9.1.9
VM ID 103
Имя VM SMR-SRV-OT-SHARE
Hostname smr-srv-ot-share
ОС Ubuntu Server 24.04.4 LTS
CPU 4 vCPU, CPU type host
RAM 8 GiB
BIOS SeaBIOS
Machine i440fx
SCSI Controller VirtIO SCSI single
Системный диск scsi0, 100 GiB, local-lvm
Сетевые карты 7 × VirtIO

8.2. Внутреннее хранилище Proxmox

Контроллер P410i
Firmware 6.64
Cache 512 MB BBWC
Физические диски 8 × 146 GB SAS
Скорость 7 × 10K RPM + 1 × 15K RPM
RAID RAID 50, две RAID5-группы по 4 диска
Logical Drive около 880.69 GB decimal / около 820.2 GiB в Linux
Hot spare нет

Один 15K-диск среди семи 10K не является причиной для переделки исправного массива. Дополнительная скорость 15K в данном RAID практически не используется, однако менять исправный диск только ради одинакового RPM не требуется.

Внутренний P410i используется для Proxmox, системных дисков VM и временного тестового MAIN-DATA. Production-данные файлового сервера должны находиться на D2700/P411.

9. Системный диск и файловая система ОС

Virtual Disk: 100 GiB
└── LVM
    └── / — ext4
        └── максимально доступный объём
  • Корневая файловая система — ext4.
  • Разметка — LVM.
  • LVM encryption не используется.
  • Отдельные /var, /home, /srv на системном диске не создаются.
  • Корень имеет около 95.9 GiB.

9.1. Контроль разметки

lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS
df -hT /
pvs
vgs
lvs

10. Сетевые интерфейсы Proxmox и Ubuntu

VM многосетевая, но не маршрутизирует трафик между OT-сегментами. На переходном этапе одновременно используются Legacy VLAN 1 и новые VLAN.

Proxmox Ubuntu MAC Bridge Сегмент Адрес
net0 ens18 BC:24:11:5D:D9:D2 vmbr0 Временная сеть настройки 192.168.1.229/24
net1 ens19 BC:24:11:46:F2:89 vmbr1 Production management VLAN 2100 10.44.100.229/24
net2 ens20 BC:24:11:10:B7:F1 vmbr3 Розлив VLAN 2002 172.16.68.229/23
net3 ens21 BC:24:11:26:DB:1B vmbr4 Пивопроизводство VLAN 2030 сейчас без IPv4; затем 172.16.66.229/23
net4 ens22 BC:24:11:9C:F1:D6 vmbr5 Утилиты VLAN 2040 172.16.70.229/23
net5 ens23 BC:24:11:32:9F:50 vmbr6 Legacy OT VLAN 1 10.255.0.229/16 + 172.16.66.229/23
net6 enp2s1 BC:24:11:67:35:97 vmbr7 АСТУЭ VLAN 2006 172.17.14.229/24

Адрес 172.16.66.229 не должен одновременно присутствовать на ens23 и ens21. После миграции 172.16.66.0/23 в VLAN2030 адрес переносится с Legacy-интерфейса на ens21.

10.1. Фактические адреса

lo      UNKNOWN 127.0.0.1/8 ::1/128
ens18   UP 192.168.1.229/24
ens19   UP 10.44.100.229/24
ens20   UP 172.16.68.229/23
ens21   UP
ens22   UP 172.16.70.229/23
ens23   UP 10.255.0.229/16 172.16.66.229/23
enp2s1  UP 172.17.14.229/24

10.2. Default gateway и DNS

Пока default gateway — 192.168.1.1 через ens18. После вывода временной сети default route должен перейти на 10.44.100.1 через ens19.

DNS на OT-интерфейсах не используется; доступ к SMB/NFS/Clonezilla/SSH планируется по IP. Временный DNS 192.168.1.1 используется только через ens18.

10.3. Netplan и cloud-init

Рабочий файл: /etc/netplan/50-cloud-init.yaml, права 600.

/etc/cloud/cloud.cfg.d/99-disable-network-config.cfg

network: {config: disabled}

Проверка изменений:

sudo netplan generate
sudo netplan try
ip -br address
ip route
resolvectl status

10.4. Проверенная связность

  • 10.255.0.229 → 10.255.0.53
  • 172.16.66.229 → 172.16.66.53
  • 172.16.68.229 → 172.16.68.53
  • 172.16.70.229 → 172.16.70.53
  • 172.17.14.229 → 172.17.14.53
  • 10.44.100.229 → 10.44.100.1

11. Установка Ubuntu Server 24.04

11.1. Параметры установщика

  • Ubuntu Server 24.04.4 LTS.
  • OpenSSH Server установлен.
  • Docker/Featured Server Snaps при установке не устанавливались.
  • Временная сеть: 192.168.1.229/24, gateway/DNS 192.168.1.1.

11.2. Hostname

sudo hostnamectl set-hostname smr-srv-ot-share

В /etc/hosts:

127.0.1.1 smr-srv-ot-share

Подтверждено:

Static hostname: smr-srv-ot-share
Operating System: Ubuntu 24.04.4 LTS
Kernel: Linux 6.8.0-137-generic
Virtualization: kvm

12. Базовая подготовка Ubuntu

sudo apt install -y \
  ca-certificates curl nano openssl iputils-ping tcpdump arping \
  bash-completion lsof qemu-guest-agent systemd-timesyncd ufw \
  ethtool rsync acl attr

Для Btrfs/Snapper:

sudo apt install -y btrfs-progs snapper

Samba/NFS и UFW-правила вводятся только после полной проверки production storage.

13. QEMU Guest Agent

sudo systemctl enable --now qemu-guest-agent
systemctl status qemu-guest-agent --no-pager
ls -l /dev/virtio-ports/

Подтверждено active (running) и наличие /dev/virtio-ports/org.qemu.guest_agent.0.

14. Часовой пояс и синхронизация времени

sudo timedatectl set-timezone Europe/Samara
sudo timedatectl set-local-rtc 0
sudo timedatectl set-ntp true
timedatectl status
Time zone: Europe/Samara
System clock synchronized: yes
NTP service: active
RTC in local TZ: no

15. Запрет маршрутизации между OT-сегментами

sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF'
net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0
EOF

sudo sysctl --system

Проверка:

sysctl net.ipv4.ip_forward
sysctl net.ipv6.conf.all.forwarding

Оба значения должны быть 0. Для многосетевого сервера используется loose reverse path filtering: rp_filter=2.

16. Временный тестовый MAIN-DATA до ввода production D2700

Тестовый MAIN-DATA был создан до ввода P411/D2700 и остаётся безопасным стендом для проверки Btrfs/Snapper до готовности production logical drive.

Сейчас P411 уже установлен и обновлён до 6.64, а D2700 физически подключалась для проверки. Production MAIN-DATA ещё не создан: ожидается FBWC + supercapacitor и повторная проверка SAS-expander.

16.1. Тестовый диск

Устройство scsi1
Storage local-lvm
Размер 50 GiB
Bus SCSI
I/O thread включён
Discard включён

В Ubuntu: /dev/sdb, 50 GiB.

16.2. Файловая система

Для MAIN-DATA выбран Btrfs из-за snapshots и будущей интеграции Windows «Предыдущие версии». Аппаратную отказоустойчивость обеспечивает P411 RAID50.

Btrfs RAID5/RAID6 поверх аппаратного RAID не используется. Для Btrfs production MAIN-DATA будет одним block device с профилем SINGLE.

16.3. Создание Btrfs на тестовом диске

wipefs -n /dev/sdb
mkfs.btrfs -L MAIN-DATA-TEST /dev/sdb
blkid /dev/sdb
lsblk -f /dev/sdb
LABEL=MAIN-DATA-TEST
UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c
TYPE=btrfs
Data profile: single
Metadata profile: DUP
System profile: DUP
Checksum: crc32c

16.4. Subvolume

mkdir -p /mnt/main-data-setup
mount /dev/sdb /mnt/main-data-setup
btrfs subvolume create /mnt/main-data-setup/shares
btrfs subvolume create /mnt/main-data-setup/clonezilla
btrfs subvolume list /mnt/main-data-setup
umount /mnt/main-data-setup
rmdir /mnt/main-data-setup
MAIN-DATA (Btrfs)
├── shares
└── clonezilla

16.5. Постоянная точка монтирования

mkdir -p /srv/main-data
cp -a /etc/fstab "/etc/fstab.backup-$(date +%F-%H%M%S)"

Тестовая строка /etc/fstab:

UUID=55a6a6cb-fc81-4b89-afa6-1e4fd43b015c /srv/main-data btrfs defaults,nofail,x-systemd.device-timeout=10s 0 0

Проверка:

systemctl daemon-reload
mount -av
findmnt /srv/main-data
df -hT /srv/main-data
btrfs filesystem show /srv/main-data
btrfs filesystem usage /srv/main-data
btrfs subvolume list /srv/main-data

После установки Samba/NFS сервисы должны зависеть от успешного mount /srv/main-data. Иначе при отсутствии D2700 возможна запись в каталог системной root FS.

17. Snapper и защита от случайного удаления

Snapshots обязательны для shares и clonezilla.

17.1. Конфигурации Snapper

snapper -c shares create-config /srv/main-data/shares
snapper -c clonezilla create-config /srv/main-data/clonezilla
snapper list-configs
Config     | Subvolume
-----------+--------------------------
clonezilla | /srv/main-data/clonezilla
shares     | /srv/main-data/shares

17.2. Целевая timeline-политика

Класс Количество Назначение
Hourly 72 около 3 суток детальной истории
Daily 30 около месяца
Weekly 12 около 3 месяцев
Monthly 12 около года
Yearly 0 отдельные годовые точки не используются

Важно: 72 hourly — целевое значение для обеих конфигураций. Ранее фактически использовались меньшие лимиты; перед production вводом необходимо ещё раз проверить текущее состояние через snapper get-config.

for cfg in shares clonezilla; do
    snapper -c "$cfg" set-config TIMELINE_CREATE=yes
    snapper -c "$cfg" set-config TIMELINE_CLEANUP=yes
    snapper -c "$cfg" set-config TIMELINE_LIMIT_HOURLY=72
    snapper -c "$cfg" set-config TIMELINE_LIMIT_DAILY=30
    snapper -c "$cfg" set-config TIMELINE_LIMIT_WEEKLY=12
    snapper -c "$cfg" set-config TIMELINE_LIMIT_MONTHLY=12
    snapper -c "$cfg" set-config TIMELINE_LIMIT_YEARLY=0
done

17.3. Systemd timers

systemctl enable --now snapper-timeline.timer
systemctl enable --now snapper-cleanup.timer
systemctl status snapper-timeline.timer --no-pager
systemctl status snapper-cleanup.timer --no-pager
systemctl list-timers 'snapper*'

17.4. Проверка восстановления файла

Для shares проверен сценарий: создать файл → snapshot → удалить файл → прочитать из .snapshots → восстановить обратно. Тест успешный.

17.5. Проверка Clonezilla

Аналогично проверен тестовый образ 32 MiB. После удаления он сохранился в snapshot и был восстановлен.

17.6. Ручной snapshot для особо важных образов

snapper -c clonezilla create \
  --description "GOLDEN - <имя машины / назначение / дата>"

Если cleanup algorithm не задан, такой snapshot не удаляется обычной timeline-ротацией.

Snapshot не является backup. Потеря всего MAIN-DATA приведёт к потере и текущих данных, и его snapshots. Критичные Clonezilla-образы дополнительно копируются на CRITICAL-BACKUP, а действительно критичные данные — ещё и за пределы D2700.

18. План интеграции Samba, NFS и Windows «Предыдущие версии»

/srv/main-data
├── shares
│   ├── Samba
│   ├── POSIX ACL
│   ├── vfs_recycle
│   └── vfs_snapper → Windows Previous Versions
│
└── clonezilla
    ├── NFS repository
    └── Snapper snapshots

Для Samba планируется vfs_snapper для Shadow Copies/«Предыдущих версий» и vfs_recycle как первый уровень защиты от случайного удаления.

Пользователи/группы, POSIX ACL, ALLOW_USERS/ALLOW_GROUPS Snapper и единая UID/GID-модель для SMB/NFS определяются перед вводом файловых сервисов.

19. Переход с тестового MAIN-DATA на production D2700

19.1. Аппаратная готовность

  1. Установить 512 MB FBWC на P411.
  2. Подключить supercapacitor.
  3. Выполнить cold boot.
  4. Проверить POST P411.
  5. Убедиться, что 1746 исчезла.
  6. Запустить HPE Smart Storage Administrator.
  7. Проверить D2700, enclosure firmware и все physical drive.
  8. Не создавать RAID при Failed/Predictive Failure.

19.2. Создание массивов

Отсеки Имя RAID
1–12 MAIN-DATA RAID50, 2 × 6-disk RAID5
13–14 RECOVERY RAID1
15 GLOBAL-SPARE Online spare
16–25 CRITICAL-BACKUP RAID50, 2 × 5-disk RAID5

19.3. Передача MAIN-DATA в VM 103

  1. Определить logical drive на Proxmox.
  2. Использовать стабильный путь /dev/disk/by-id/....
  3. Передать logical drive в VM 103 отдельным block device.
  4. Не форматировать его на Proxmox.
  5. Единственным владельцем файловой системы должна быть Ubuntu VM.

19.4. Создание production Btrfs

  1. Остановить Samba/NFS, если они уже установлены.
  2. Размонтировать тестовый MAIN-DATA.
  3. Создать Btrfs на production logical drive.
  4. Создать subvolume shares и clonezilla.
  5. Получить новый UUID.
  6. Заменить UUID в /etc/fstab.
  7. Смонтировать в тот же /srv/main-data.
  8. Проверить/пересоздать Snapper configs.
  9. Повторно проверить snapshot и restore.
  10. Только после этого запускать файловые сервисы.

20. Текущая контрольная точка

Этап Состояние
Дисковая архитектура D2700 Согласована
P410i 512 MB, firmware 6.64, внутренний RAID50 работает
P410i Battery / Array Accelerator Батарея принята контроллером; идёт штатная зарядка, cache должен включиться автоматически
P411 Установлен в Slot 6, firmware обновлён 1.06 → 6.64
Неисправный 256 MB cache 462974-001 исключён из эксплуатации
Новый cache P411 Ожидается 512 MB FBWC + supercapacitor
D2700 Тестово подключена P411 1E → I/O A P1
Ошибка P411 + D2700 1746 при P411 с 0 MB cache; production-доступ заблокирован
SPP G7.1 Рабочий USB создан штатным usbcreator.cmd
System ROM / iLO / NIC / HDD firmware SPP показывает актуальное состояние
Память 5 DIMM на CPU A–E; Online Spare invalid, рекомендуемый режим Advanced ECC
VM SMR-SRV-OT-SHARE Создана, VM ID 103
Ubuntu 24.04.4 LTS, базовая подготовка выполнена
Сеть Текущие адреса назначены; VLAN2030 ожидает миграции 172.16.66.0/23
IP forwarding Отключён
Тестовый MAIN-DATA 50 GiB, Btrfs, /srv/main-data
Btrfs subvolume shares и clonezilla
Snapper Конфигурации и восстановление проверены
Целевая retention-политика 72 hourly / 30 daily / 12 weekly / 12 monthly
Production RAID D2700 Не создан
SMB/NFS Следующий программный этап после production storage

21. Следующие этапы реализации

  1. Получить и установить 512 MB FBWC + supercapacitor на P411.
  2. Выполнить cold boot и проверить P411/cache/отсутствие 1746.
  3. Открыть SSA и проверить D2700, enclosure firmware и все 25 bays.
  4. Зафиксировать inventory дисков: bay, model, serial, capacity, RPM, firmware, health.
  5. При необходимости обновить firmware D2700 до создания RAID.
  6. Создать MAIN-DATA, RECOVERY, CRITICAL-BACKUP и назначить GLOBAL-SPARE.
  7. Сохранить отчёт Smart Array после создания массивов.
  8. Передать MAIN-DATA в VM 103 через /dev/disk/by-id.
  9. Пересоздать Btrfs на production MAIN-DATA с тем же /srv/main-data.
  10. Проверить Snapper и restore уже на production storage.
  11. Проверить фактический лимит 72 hourly в обеих Snapper-конфигурациях.
  12. Спроектировать SMB-шары, локальные группы и POSIX ACL.
  13. Настроить Samba + vfs_recycle + vfs_snapper.
  14. Проверить Windows «Предыдущие версии».
  15. Настроить NFS для Clonezilla только для разрешённых сетей/клиентов.
  16. Привязать Samba/NFS к успешному mount /srv/main-data.
  17. Настроить UFW после утверждения SMB/NFS/SSH правил.
  18. Настроить CRITICAL-BACKUP и копирование выбранных критичных данных.
  19. Добавить мониторинг P410i/P411, physical drive health, Btrfs, snapshots, mount и сервисов.

22. Порядок включения и выключения D2700

22.1. Штатное включение

  1. Подать питание на оба блока питания D2700.
  2. Включить D2700 и дождаться завершения инициализации.
  3. Включить DL380 G7.
  4. Проверить POST P411 и доступность enclosure/logical drive.
D2700 ON
   ↓
инициализация полки
   ↓
DL380 G7 ON
   ↓
P411 обнаруживает готовое storage

22.2. Штатное выключение

  1. Корректно остановить VM.
  2. Корректно остановить Proxmox/DL380.
  3. Дождаться полного выключения сервера.
  4. Перевести D2700 в Standby.
  5. При необходимости снять AC с блоков питания полки.

22.3. Автоматический запуск после восстановления питания

Поведение D2700 после полного снятия и возврата AC необходимо отдельно проверить в рабочей конфигурации. Желаемая последовательность:

AC восстановлено
        ↓
D2700 запускается
        ↓
полка проходит инициализацию
        ↓
DL380 G7 запускается с задержкой
        ↓
P411 обнаруживает готовые logical drive

На DL380 G7 целесообразно настроить автоматический запуск с задержкой, чтобы D2700 успевала инициализироваться раньше хоста.

23. Справочные материалы