Новая страница

HP D2700: схема дисковых массивов и назначение хранилищ

1. Назначение документа

Документ фиксирует принятую физическую раскладку дисков в полке HP StorageWorks D2700, конфигурацию аппаратных RAID-массивов, назначение каждого массива и роль резервного диска.

В рамках этой статьи последовательно проектируется и настраивается файловое хранилище: SMB-шары, NFS-ресурсы, репозиторий образов Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование выбранных данных.

Массив RECOVERY и его назначение описываются здесь только для фиксации общей дисковой архитектуры. Установка, настройка и эксплуатация TFTP/PXE-сервера будут оформлены в отдельной статье Wiki.

2. Состав оборудования

• Сервер: HP ProLiant DL380 G7.
• Гипервизор: Proxmox VE.
• Внешняя дисковая полка: HP StorageWorks D2700, 25 отсеков SFF.
• Внешний RAID-контроллер: HP Smart Array P411.
• Интерфейс подключения: внешний SAS, кабель Mini-SAS SFF-8088.
• Все диски, включаемые в массивы и резерв, должны быть SAS и определяться контроллером P411.

3. Физическая раскладка дисков по отсекам

3.1. Карта отсеков

HP D2700 — отсеки 01–25

01  600 GB  MAIN-DATA
02  600 GB  MAIN-DATA
03  600 GB  MAIN-DATA
04  600 GB  MAIN-DATA
05  600 GB  MAIN-DATA
06  600 GB  MAIN-DATA
07  600 GB  MAIN-DATA
08  600 GB  MAIN-DATA
09  600 GB  MAIN-DATA
10  600 GB  MAIN-DATA
11  600 GB  MAIN-DATA
12  600 GB  MAIN-DATA

13  146 GB  RECOVERY
14  146 GB  RECOVERY

15  600 GB  GLOBAL-SPARE

16  500 GB  CRITICAL-BACKUP
17  500 GB  CRITICAL-BACKUP
18  500 GB  CRITICAL-BACKUP
19  500 GB  CRITICAL-BACKUP
20  500 GB  CRITICAL-BACKUP
21  500 GB  CRITICAL-BACKUP
22  500 GB  CRITICAL-BACKUP
23  500 GB  CRITICAL-BACKUP
24  500 GB  CRITICAL-BACKUP
25  500 GB  CRITICAL-BACKUP

4. Конфигурация массивов

4.1. Основной массив MAIN-DATA

RAID 50 состоит из нескольких RAID 5-групп, объединённых полосованием. При двух группах массив выдерживает отказ одного диска в каждой группе, но потеря двух дисков в одной и той же группе до завершения rebuild приводит к потере всего логического диска.

4.2. Служебный массив RECOVERY

4.3. Горячий резерв GLOBAL-SPARE

Один online spare может быть назначен нескольким массивам, подключённым к одному контроллеру. При отказе активного диска Smart Array автоматически задействует GLOBAL-SPARE и начинает восстановление данных без вмешательства администратора.

4.3.1. Что происходит после отказа диска

1. Контроллер обнаруживает отказ физического диска в одном из массивов.
2. Диск из отсека 15 активируется как временный участник пострадавшего массива.
3. Контроллер восстанавливает на него недостающие данные по информации отказоустойчивости RAID. Для RAID 50 rebuild выполняется внутри соответствующей RAID 5-группы.
4. После завершения rebuild массив снова получает полную дисковую отказоустойчивость, но отдельного свободного hot spare временно больше нет.

Штатное состояние:
массив + свободный GLOBAL-SPARE

Отказ диска:
массив в восстановлении → данные строятся на GLOBAL-SPARE

После первого rebuild:
массив снова отказоустойчив → GLOBAL-SPARE временно стал рабочим диском массива

4.3.2. Что происходит после установки нового диска в исходный отсек

После извлечения неисправного диска и установки совместимого исправного диска в его исходный отсек контроллер автоматически запускает обратное копирование (copy-back):

1. Новый диск распознаётся Smart Array как замена отказавшего диска.
2. Данные автоматически переносятся с активированного GLOBAL-SPARE на новый диск.
3. Новый диск становится штатным участником исходного массива.
4. Диск в отсеке 15 освобождается от роли временного участника массива и снова получает статус доступного online spare.

После установки замены:

GLOBAL-SPARE
    │
    └── copy-back данных → новый диск в исходном отсеке
                              │
                              └── становится штатным членом массива

Отсек 15:
GLOBAL-SPARE снова доступен для всех назначенных массивов

4.3.3. Требования к заменяющему диску

• Интерфейс — SAS.
• Ёмкость — не меньше ёмкости отказавшего диска.
• Диск должен поддерживаться контроллером и корректно определяться в D2700.
• Предпочтительно использовать диск той же модели, скорости и сектора.
• Если установить диск большего объёма, массив использует только объём, соответствующий исходному диску; излишек не увеличит массив автоматически.

4.4. Резервный массив CRITICAL-BACKUP

5. Логика использования массивов

MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── образы Clonezilla
        │
        └── копирование выбранных критичных данных
                ↓
CRITICAL-BACKUP

RECOVERY
└── зарезервирован под отдельный проект TFTP/PXE и восстановления Cisco

5.1. Основные правила

• MAIN-DATA является основным рабочим хранилищем.
• CRITICAL-BACKUP содержит только отобранные критичные копии.
• CRITICAL-BACKUP не должен быть доступен пользователям для обычной записи.
• RECOVERY зарезервирован под отдельный TFTP/PXE-сервис; его настройка выполняется по другой статье Wiki.
• GLOBAL-SPARE не форматируется и не передаётся операционной системе.
• RAID защищает от отказа отдельных дисков, но не заменяет резервное копирование.

6. Имена объектов

7. Контроль перед созданием массивов

1. Проверить, что все 25 дисков определяются контроллером P411.
2. Зафиксировать серийные номера, ёмкость, скорость вращения и номер отсека каждого диска.
3. Проверить отсутствие статусов Failed и Predictive Failure.
4. Проверить состояние кэш-модуля и батареи/конденсатора P411.
5. Создавать массивы только после проверки соответствия дисков карте отсеков.
6. Назначить диск из отсека 15 общим online spare для всех трёх массивов.
7. Сохранить отчёт конфигурации Smart Array после создания массивов.

8. Развёртывание виртуальной машины файлового сервера

Файловый сервер разворачивается как отдельная виртуальная машина Ubuntu Server 24.04.4 LTS в Proxmox VE. ОС и конфигурация сервера находятся на внутреннем хранилище Proxmox, а рабочие данные после подключения D2700 будут вынесены на отдельные логические диски аппаратного RAID.

8.1. Фактические параметры ВМ

После завершения установки Ubuntu установочный ISO следует извлечь из виртуального CD/DVD-привода, чтобы ВМ всегда загружалась с scsi0.

9. Системный диск и файловая система ОС

Для ОС принято следующее решение:

Virtual Disk: 100 GiB
└── LVM
    └── / — ext4
        └── максимально доступный объём

• Файловая система корня — ext4.
• Разметка — LVM.
• Шифрование LVM не используется.
• Свободный резерв внутри VG намеренно не оставляется.
• Отдельные тома /var, /home и /srv на системном диске не создаются.
• По фактической установке корневой раздел имеет доступный объём около 95,9 GiB.

Пользовательские данные не должны постоянно храниться на системном диске. После подключения D2700 каталоги данных будут смонтированы с отдельных logical drive в точки под /srv.

9.1. Контроль разметки после установки

lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS
df -hT /
pvs
vgs
lvs

Необходимо подтвердить, что корень / использует ext4 поверх LVM и что внутри VG не осталось значительного нераспределённого объёма.

10. Сетевые интерфейсы Proxmox

Файловый сервер подключается к тем же OT-сегментам, что и DNS-сервер BIND9, но порядок netX у этой ВМ отличается. Поэтому нельзя копировать имена net0...net6 из DNS-ВМ вслепую: ориентироваться нужно на фактический bridge и MAC-адрес.

10.1. Текущее состояние интерфейсов Ubuntu

После установки ОС зафиксировано:

lo               UNKNOWN        127.0.0.1/8 ::1/128
ens18            UP             192.168.1.229/24
ens19            DOWN
ens20            DOWN
ens21            DOWN
ens22            DOWN
ens23            DOWN
enp2s1           DOWN

Текущая маршрутизация:

default via 192.168.1.1 dev ens18
192.168.1.0/24 dev ens18 proto kernel scope link src 192.168.1.229

На этапе первоначальной настройки это правильное состояние: активен только временный management-интерфейс, остальные интерфейсы не получают адреса по DHCP.

Системный DNS на данном этапе:

DNS Server: 192.168.1.1
Default route: ens18

10.2. Проверка соответствия Ubuntu ↔ Proxmox по MAC

for iface in ens18 ens19 ens20 ens21 ens22 ens23 enp2s1; do
    printf "%-8s %s\n" "$iface" "$(cat /sys/class/net/$iface/address)"
done

Результат сравнивается с MAC-адресами в таблице выше. Только после этой проверки создаётся окончательный Netplan.

10.3. Правило маршрутизации

ВМ многосетевая, но не должна выполнять функции маршрутизатора между OT-сегментами. На конечной конфигурации используется один согласованный маршрут управления либо точные статические маршруты. На OT-интерфейсах отдельные default gateway не задаются.

net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0

11. Установка Ubuntu Server 24.04

11.1. Параметры установщика

• Hostname: первоначально был введён baltikashare, после установки исправлен на проектный smr-srv-ot-share.
• Установить OpenSSH Server.
• Docker и дополнительные Featured Server Snaps не устанавливать.
• Во время установки активировать только временный management-интерфейс.
• Адрес: 192.168.1.229/24.
• Gateway: 192.168.1.1.
• DNS на этапе установки: 192.168.1.1.
• На остальных интерфейсах DHCP отключить.

11.2. Исправление hostname после первого входа

sudo hostnamectl set-hostname smr-srv-ot-share
sudo nano /etc/hosts

В /etc/hosts должна присутствовать строка:

127.0.1.1 smr-srv-ot-share

Контроль:

hostnamectl
cat /etc/hostname
grep 127.0.1.1 /etc/hosts

Фактически подтверждено:

Static hostname: smr-srv-ot-share
Operating System: Ubuntu 24.04.4 LTS
Kernel: Linux 6.8.0-137-generic
Virtualization: kvm

12. Базовая подготовка Ubuntu

12.1. Обновление системы

sudo apt update
sudo apt full-upgrade -y

Проверка необходимости перезагрузки:

if [ -f /var/run/reboot-required ]; then
    echo "Требуется перезагрузка:"
    cat /var/run/reboot-required.pkgs
fi

Если перезагрузка требуется:

sudo systemctl reboot

12.2. Базовые и служебные пакеты

sudo apt install -y \
  ca-certificates \
  curl \
  nano \
  openssl \
  iputils-ping \
  tcpdump \
  arping \
  bash-completion \
  lsof \
  qemu-guest-agent \
  systemd-timesyncd \
  ufw \
  ethtool \
  rsync \
  acl \
  attr

13. QEMU Guest Agent

sudo systemctl enable --now qemu-guest-agent
systemctl status qemu-guest-agent --no-pager
ls -l /dev/virtio-ports/

Ожидается:

Active: active (running)
/dev/virtio-ports/org.qemu.guest_agent.0

Если служба имеет тип static, это допустимо: агент запускается при наличии VirtIO-канала от Proxmox.

14. Часовой пояс и синхронизация времени

sudo timedatectl set-timezone Europe/Samara
sudo timedatectl set-local-rtc 0
sudo timedatectl set-ntp true
timedatectl status

Ожидаемое состояние:

Time zone: Europe/Samara
System clock synchronized: yes
NTP service: active
RTC in local TZ: no

15. Запрет маршрутизации между OT-сегментами

Наличие семи интерфейсов не должно превращать файловый сервер в маршрутизатор. Перед вводом нескольких OT-адресов фиксируется явный запрет IPv4/IPv6 forwarding:

sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF'
net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0
EOF

sudo sysctl --system

Проверка:

sysctl net.ipv4.ip_forward
sysctl net.ipv6.conf.all.forwarding

Ожидается:

net.ipv4.ip_forward = 0
net.ipv6.conf.all.forwarding = 0

16. Текущая контрольная точка

17. Следующие этапы реализации

1. Завершить обновление Ubuntu и базовую подготовку ОС.
2. Проверить QEMU Guest Agent, часовой пояс и синхронизацию времени.
3. Сопоставить все интерфейсы Ubuntu с netX по MAC-адресам.
4. Получить и зафиксировать IP-адреса для VLAN 2002, 2030, 2040, 2006 и Legacy VLAN 1.
5. Сформировать окончательный Netplan и правила маршрутизации.
6. Выбрать файловые системы для MAIN-DATA и CRITICAL-BACKUP.
7. Определить точки монтирования и модель передачи logical drive P411 в ВМ.
8. Установить и настроить Samba.
9. Установить и настроить NFS для Clonezilla.
10. Настроить пользователей, группы, ACL, квоты, корзину и предыдущие версии.
11. Настроить локальное копирование критичных данных в CRITICAL-BACKUP.
12. Настроить UFW после утверждения всех разрешённых сетей и сервисов.
13. Добавить мониторинг состояния файлового сервера и контроль резервных копий.

18. Справочные материалы

• Проектная статья BIND9 — базовый шаблон сетевых сегментов и подготовки Ubuntu
• HPE D2000 Disk Enclosures — Product features
• HPE D2000 Disk Enclosures — QuickSpecs
• HP Array Configuration Utility CLI User Guide
• HP Smart Array Controller technology