Skip to main content

Новая страница

HP D2700: схема дисковых массивов и назначение хранилищ

Версия 0.23
Дата 05.07.08.2026
Статус Схема согласованасогласована, реализация начата
Проект Расширение памяти сервера

1. Назначение документа

Документ фиксирует принятую физическую раскладку дисков в полке HP StorageWorks D2700, конфигурацию аппаратных RAID-массивов, назначение каждого массива и роль резервного диска.

В рамках этой статьи последовательно проектируется и настраивается файловое хранилище: SMB-шары, NFS-ресурсы, репозиторий образов Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование выбранных данных.

Массив RECOVERY и его назначение описываются здесь только для фиксации общей дисковой архитектуры. Установка, настройка и эксплуатация TFTP/PXE-сервера будут оформлены в отдельной статье Wiki.

Принятое решение: в D2700 создаются два массива RAID 50, один массив RAID 1 и один общий горячий резервный диск.

2. Состав оборудования

  • Сервер: HP ProLiant DL380 G7.
  • Гипервизор: Proxmox VE.
  • Внешняя дисковая полка: HP StorageWorks D2700, 25 отсеков SFF.
  • Внешний RAID-контроллер: HP Smart Array P411.
  • Интерфейс подключения: внешний SAS, кабель Mini-SAS SFF-8088.
  • Все диски, включаемые в массивы и резерв, должны быть SAS и определяться контроллером P411.

3. Физическая раскладка дисков по отсекам

Отсеки Диски Роль Имя
1–12 12 × 600 ГБ SAS 10K Основной RAID 50 MAIN-DATA
13–14 2 × 146 ГБ SAS 15K Служебный RAID 1 RECOVERY
15 1 × 600 ГБ SAS 10K Общий горячий резерв GLOBAL-SPARE
16–25 10 × 500 ГБ SAS 7.2K Резервный RAID 50 CRITICAL-BACKUP

3.1. Карта отсеков

HP D2700 — отсеки 01–25

01  600 GB  MAIN-DATA
02  600 GB  MAIN-DATA
03  600 GB  MAIN-DATA
04  600 GB  MAIN-DATA
05  600 GB  MAIN-DATA
06  600 GB  MAIN-DATA
07  600 GB  MAIN-DATA
08  600 GB  MAIN-DATA
09  600 GB  MAIN-DATA
10  600 GB  MAIN-DATA
11  600 GB  MAIN-DATA
12  600 GB  MAIN-DATA

13  146 GB  RECOVERY
14  146 GB  RECOVERY

15  600 GB  GLOBAL-SPARE

16  500 GB  CRITICAL-BACKUP
17  500 GB  CRITICAL-BACKUP
18  500 GB  CRITICAL-BACKUP
19  500 GB  CRITICAL-BACKUP
20  500 GB  CRITICAL-BACKUP
21  500 GB  CRITICAL-BACKUP
22  500 GB  CRITICAL-BACKUP
23  500 GB  CRITICAL-BACKUP
24  500 GB  CRITICAL-BACKUP
25  500 GB  CRITICAL-BACKUP

4. Конфигурация массивов

4.1. Основной массив MAIN-DATA

Отсеки 1–12
Состав 12 × 600 ГБ SAS 10K
Уровень RAID RAID 50
Группировка 2 группы RAID 5 по 6 дисков
Расчётная полезная ёмкость 6 ТБ, приблизительно 5,46 ТиБ
Назначение Основное файловое хранилище: рабочие документы, SMB/NFS-ресурсы, образы Clonezilla и другие активные данные.

RAID 50 состоит из нескольких RAID 5-групп, объединённых полосованием. При двух группах массив выдерживает отказ одного диска в каждой группе, но потеря двух дисков в одной и той же группе до завершения rebuild приводит к потере всего логического диска.

4.2. Служебный массив RECOVERY

Отсеки 13–14
Состав 2 × 146 ГБ SAS 15K
Уровень RAID RAID 1
Расчётная полезная ёмкость 146 ГБ, приблизительно 136 ГиБ
Назначение Выделенное хранилище для будущего сервера восстановления: TFTP, PXE, Cisco IOS/IOS XE, ROMMON, конфигурации сетевого оборудования и служебные загрузочные файлы.
Граница статьи: здесь фиксируются только назначение и место массива RECOVERY в общей архитектуре. Настройка TFTP/PXE, правила загрузки прошивок и процедура восстановления Cisco описываются в отдельной статье. Полноразмерные образы рабочих станций Clonezilla размещаются на MAIN-DATA.

4.3. Горячий резерв GLOBAL-SPARE

Отсек 15
Диск 600 ГБ SAS 10K
Роль Общий online spare для массивов MAIN-DATA, RECOVERY и CRITICAL-BACKUP.

Один online spare может быть назначен нескольким массивам, подключённым к одному контроллеру. При отказе активного диска Smart Array автоматически задействует GLOBAL-SPARE и начинает восстановление данных без вмешательства администратора.

4.3.1. Что происходит после отказа диска

  1. Контроллер обнаруживает отказ физического диска в одном из массивов.
  2. Диск из отсека 15 активируется как временный участник пострадавшего массива.
  3. Контроллер восстанавливает на него недостающие данные по информации отказоустойчивости RAID. Для RAID 50 rebuild выполняется внутри соответствующей RAID 5-группы.
  4. После завершения rebuild массив снова получает полную дисковую отказоустойчивость, но отдельного свободного hot spare временно больше нет.
Штатное состояние:
массив + свободный GLOBAL-SPARE

Отказ диска:
массив в восстановлении → данные строятся на GLOBAL-SPARE

После первого rebuild:
массив снова отказоустойчив → GLOBAL-SPARE временно стал рабочим диском массива

4.3.2. Что происходит после установки нового диска в исходный отсек

После извлечения неисправного диска и установки совместимого исправного диска в его исходный отсек контроллер автоматически запускает обратное копирование (copy-back):

  1. Новый диск распознаётся Smart Array как замена отказавшего диска.
  2. Данные автоматически переносятся с активированного GLOBAL-SPARE на новый диск.
  3. Новый диск становится штатным участником исходного массива.
  4. Диск в отсеке 15 освобождается от роли временного участника массива и снова получает статус доступного online spare.
После установки замены:

GLOBAL-SPARE
    │
    └── copy-back данных → новый диск в исходном отсеке
                              │
                              └── становится штатным членом массива

Отсек 15:
GLOBAL-SPARE снова доступен для всех назначенных массивов
Это не secure erase. После copy-back контроллер возвращает диск из отсека 15 в состояние свободного резерва и обновляет его служебную роль. Полное обнуление всех секторов spare-диска для этого не требуется; при следующем задействовании контроллер перезапишет необходимые области.

4.3.3. Требования к заменяющему диску

  • Интерфейс — SAS.
  • Ёмкость — не меньше ёмкости отказавшего диска.
  • Диск должен поддерживаться контроллером и корректно определяться в D2700.
  • Предпочтительно использовать диск той же модели, скорости и сектора.
  • Если установить диск большего объёма, массив использует только объём, соответствующий исходному диску; излишек не увеличит массив автоматически.
Не прерывать rebuild или copy-back. Нельзя извлекать spare-диск, заменяющий диск, отключать полку или перезагружать оборудование без необходимости до завершения операции. Во время rebuild массив сильнее нагружен и имеет повышенный риск потери данных при дополнительном отказе в той же RAID-группе.
Контроль после замены: необходимо убедиться, что logical drive имеет статус OK, операция copy-back завершена, новый диск входит в массив, а отсек 15 снова отображается как доступный online spare.

4.4. Резервный массив CRITICAL-BACKUP

Отсеки 16–25
Состав 10 × 500 ГБ SAS 7.2K
Уровень RAID RAID 50
Группировка 2 группы RAID 5 по 5 дисков
Расчётная полезная ёмкость 4 ТБ, приблизительно 3,64 ТиБ
Назначение Локальные копии выбранной критичной информации с основного массива. Массив не публикуется как обычная пользовательская шара.

5. Логика использования массивов

MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── образы Clonezilla
        │
        └── копирование выбранных критичных данных
                ↓
CRITICAL-BACKUP

RECOVERY
└── зарезервирован под отдельный проект TFTP/PXE и восстановления Cisco

5.1. Основные правила

  • MAIN-DATA является основным рабочим хранилищем.
  • CRITICAL-BACKUP содержит только отобранные критичные копии.
  • CRITICAL-BACKUP не должен быть доступен пользователям для обычной записи.
  • RECOVERY зарезервирован под отдельный TFTP/PXE-сервис; его настройка выполняется по другой статье Wiki.
  • GLOBAL-SPARE не форматируется и не передаётся операционной системе.
  • RAID защищает от отказа отдельных дисков, но не заменяет резервное копирование.
Не считать CRITICAL-BACKUP полноценной независимой резервной копией. Оба RAID-массива находятся в одной полке, подключены к одному контроллеру и зависят от одного сервера и общей инфраструктуры. Для действительно критичных данных в дальнейшем потребуется дополнительная копия вне D2700.

6. Имена объектов

Объект Имя Статус
Основной RAID 50 MAIN-DATA Зафиксировано
Служебный RAID 1 RECOVERY Зафиксировано
Общий горячий резерв GLOBAL-SPARE Зафиксировано
Резервный RAID 50 CRITICAL-BACKUP Зафиксировано

7. Контроль перед созданием массивов

  1. Проверить, что все 25 дисков определяются контроллером P411.
  2. Зафиксировать серийные номера, ёмкость, скорость вращения и номер отсека каждого диска.
  3. Проверить отсутствие статусов Failed и Predictive Failure.
  4. Проверить состояние кэш-модуля и батареи/конденсатора P411.
  5. Создавать массивы только после проверки соответствия дисков карте отсеков.
  6. Назначить диск из отсека 15 общим online spare для всех трёх массивов.
  7. Сохранить отчёт конфигурации Smart Array после создания массивов.

8. Следующие разделы инструкции

  1. Установка P411 в DL380 G7 и подключение D2700.
  2. Первичный запуск и проверка состояния полки.
  3. Создание массивов в Smart Array.
  4. Проверка кэша, батареи/конденсатора и параметров rebuild.
  5. Передача логических дисков в виртуальные машины Proxmox.
  6. АрхитектураРазвёртывание виртуальной машины файлового сервера

    Файловый сервер разворачивается как отдельная виртуальная машина Ubuntu Server 24.04.4 LTS в Proxmox VE. ОС и конфигурация сервера находятся на внутреннем хранилище Proxmox, а рабочие данные после подключения D2700 будут вынесены на отдельные логические диски аппаратного RAID.

    Граница статьи: в этой статье настраиваются файловый сервер, SMB/NFS.NFS-шары, репозиторий Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование. Настройка TFTP/PXE-сервера для массива RECOVERY выполняется в отдельной статье Wiki.

    8.1. Фактические параметры ВМ

    Proxmox VE9.1.9
    VM ID103
    Имя ВМSMR-SRV-OT-SHARE
    Hostname Ubuntusmr-srv-ot-share
    ОСUbuntu Server 24.04.4 LTS
    CPU4 vCPU, 1 socket × 4 cores, CPU type host
    RAM8 GiB
    BIOSSeaBIOS
    MachineDefault (i440fx)
    SCSI ControllerVirtIO SCSI single
    Системный дискscsi0, 100 GiB, local-lvm, I/O thread включён
    Сетевые карты7 × VirtIO

    После завершения установки Ubuntu установочный ISO следует извлечь из виртуального CD/DVD-привода, чтобы ВМ всегда загружалась с scsi0.

    9. Системный диск и файловая система ОС

    Для ОС принято следующее решение:

    Virtual Disk: 100 GiB
    └── LVM
        └── / — ext4
            └── максимально доступный объём
    • Файловая система корня — ext4.
    • ФайловыеРазметка системы,— LVM.
    • Шифрование LVM не используется.
    • Свободный резерв внутри VG намеренно не оставляется.
    • Отдельные тома /var, /home и /srv на системном диске не создаются.
    • По фактической установке корневой раздел имеет доступный объём около 95,9 GiB.

    Пользовательские данные не должны постоянно храниться на системном диске. После подключения D2700 каталоги данных будут смонтированы с отдельных logical drive в точки под /srv.

    9.1. Контроль разметки после установки

    lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS
    df -hT /
    pvs
    vgs
    lvs

    Необходимо подтвердить, что корень / использует ext4 поверх LVM и что внутри VG не осталось значительного нераспределённого объёма.

    10. Сетевые интерфейсы Proxmox

    Файловый сервер подключается к тем же OT-сегментам, что и DNS-сервер BIND9, но порядок netX у этой ВМ отличается. Поэтому нельзя копировать имена net0...net6 из DNS-ВМ вслепую: ориентироваться нужно на фактический bridge и MAC-адрес.

    ProxmoxMACBridgeНазначение bridgeАдрес SHARE
    net0BC:24:11:5D:D9:D2vmbr0Временная сеть первоначальной настройки192.168.1.229/24
    net1BC:24:11:46:F2:89vmbr1Production management, VLAN 210010.44.100.229/24 — планируется
    net2BC:24:11:10:B7:F1vmbr3VLAN 2002, РозливБудет назначен позже
    net3BC:24:11:26:DB:1Bvmbr4VLAN 2030, ПивопроизводствоБудет назначен позже
    net4BC:24:11:9C:F1:D6vmbr5VLAN 2040, УтилитыБудет назначен позже
    net5BC:24:11:32:9F:50vmbr6Legacy OT, untagged access VLAN 1Будет назначен позже
    net6BC:24:11:67:35:97vmbr7VLAN 2006, АСТУЭБудет назначен позже
    Важно: интерфейсы Ubuntu необходимо окончательно сопоставить с netX по MAC-адресам. Имена ens18, ens19 и т. д. не являются основанием для определения VLAN.

    10.1. Текущее состояние интерфейсов Ubuntu

    После установки ОС зафиксировано:

    lo               UNKNOWN        127.0.0.1/8 ::1/128
    ens18            UP             192.168.1.229/24
    ens19            DOWN
    ens20            DOWN
    ens21            DOWN
    ens22            DOWN
    ens23            DOWN
    enp2s1           DOWN

    Текущая маршрутизация:

    default via 192.168.1.1 dev ens18
    192.168.1.0/24 dev ens18 proto kernel scope link src 192.168.1.229

    На этапе первоначальной настройки это правильное состояние: активен только временный management-интерфейс, остальные интерфейсы не получают адреса по DHCP.

    Системный DNS на данном этапе:

    DNS Server: 192.168.1.1
    Default route: ens18

    10.2. Проверка соответствия Ubuntu ↔ Proxmox по MAC

    for iface in ens18 ens19 ens20 ens21 ens22 ens23 enp2s1; do
        printf "%-8s %s\n" "$iface" "$(cat /sys/class/net/$iface/address)"
    done

    Результат сравнивается с MAC-адресами в таблице выше. Только после этой проверки создаётся окончательный Netplan.

    10.3. Правило маршрутизации

    ВМ многосетевая, но не должна выполнять функции маршрутизатора между OT-сегментами. На конечной конфигурации используется один согласованный маршрут управления либо точные статические маршруты. На OT-интерфейсах отдельные default gateway не задаются.

    net.ipv4.ip_forward = 0
    net.ipv6.conf.all.forwarding = 0

    11. Установка Ubuntu Server 24.04

    11.1. Параметры установщика

    • Hostname: первоначально был введён baltikashare, после установки исправлен на проектный smr-srv-ot-share.
    • Установить OpenSSH Server.
    • Docker и дополнительные Featured Server Snaps не устанавливать.
    • Во время установки активировать только временный management-интерфейс.
    • Адрес: 192.168.1.229/24.
    • Gateway: 192.168.1.1.
    • DNS на этапе установки: 192.168.1.1.
    • На остальных интерфейсах DHCP отключить.

    11.2. Исправление hostname после первого входа

    sudo hostnamectl set-hostname smr-srv-ot-share
    sudo nano /etc/hosts

    В /etc/hosts должна присутствовать строка:

    127.0.1.1 smr-srv-ot-share

    Контроль:

    hostnamectl
    cat /etc/hostname
    grep 127.0.1.1 /etc/hosts

    Фактически подтверждено:

    Static hostname: smr-srv-ot-share
    Operating System: Ubuntu 24.04.4 LTS
    Kernel: Linux 6.8.0-137-generic
    Virtualization: kvm

    12. Базовая подготовка Ubuntu

    12.1. Обновление системы

    sudo apt update
    sudo apt full-upgrade -y

    Проверка необходимости перезагрузки:

    if [ -f /var/run/reboot-required ]; then
        echo "Требуется перезагрузка:"
        cat /var/run/reboot-required.pkgs
    fi

    Если перезагрузка требуется:

    sudo systemctl reboot

    12.2. Базовые и служебные пакеты

    sudo apt install -y \
      ca-certificates \
      curl \
      nano \
      openssl \
      iputils-ping \
      tcpdump \
      arping \
      bash-completion \
      lsof \
      qemu-guest-agent \
      systemd-timesyncd \
      ufw \
      ethtool \
      rsync \
      acl \
      attr
    ПакетНазначение
    ca-certificatesКорневые сертификаты CA для HTTPS, APT и проверки TLS.
    curlПроверка HTTP/HTTPS, API и получение файлов.
    nanoРедактирование Netplan, Samba/NFS и системных конфигураций.
    opensslРабота с сертификатами, ключами, хешами и диагностика TLS.
    iputils-pingБазовая проверка IP-доступности.
    tcpdumpЗахват и анализ SMB/NFS, ARP, ICMP, NTP и прочего сетевого трафика.
    arpingПроверка L2-доступности и конфликтов IPv4-адресов.
    bash-completionАвтодополнение команд Bash.
    lsofПоиск процессов, использующих файлы, TCP/UDP-порты и сокеты.
    qemu-guest-agentИнтеграция Ubuntu с Proxmox: сведения о ВМ, корректное управление и поддержка backup freeze/thaw.
    systemd-timesyncdЛёгкий NTP-клиент для синхронизации системного времени.
    ufwHost firewall. Пока устанавливается, но не включается до утверждения всех сетей и правил SMB/NFS/SSH.
    ethtoolДиагностика VirtIO-интерфейсов, драйвера и offload-функций.
    rsyncМиграция и синхронизация файлов; в дальнейшем может использоваться как часть локального копирования MAIN-DATA → CRITICAL-BACKUP.
    aclУтилиты getfacl/setfacl для POSIX ACL файловых шар.
    attrУправление extended attributes, используемыми Samba и файловыми системами.
    На этом этапе не устанавливать: samba, nfs-kernel-server, xfsprogs, btrfs-progs, quota, snapper. Сначала необходимо окончательно выбрать файловую систему массивов данных, точки монтирования, модель ACL, квотыквот и теневыетеневых копии.копий.

    13. QEMU Guest Agent

    sudo systemctl enable --now qemu-guest-agent
    systemctl status qemu-guest-agent --no-pager
    ls -l /dev/virtio-ports/

    Ожидается:

    Active: active (running)
    /dev/virtio-ports/org.qemu.guest_agent.0

    Если служба имеет тип static, это допустимо: агент запускается при наличии VirtIO-канала от Proxmox.

    14. Часовой пояс и синхронизация времени

    sudo timedatectl set-timezone Europe/Samara
    sudo timedatectl set-local-rtc 0
    sudo timedatectl set-ntp true
    timedatectl status

    Ожидаемое состояние:

    Time zone: Europe/Samara
    System clock synchronized: yes
    NTP service: active
    RTC in local TZ: no

    15. Запрет маршрутизации между OT-сегментами

    Наличие семи интерфейсов не должно превращать файловый сервер в маршрутизатор. Перед вводом нескольких OT-адресов фиксируется явный запрет IPv4/IPv6 forwarding:

    sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF'
    net.ipv4.ip_forward = 0
    net.ipv6.conf.all.forwarding = 0
    EOF
    
    sudo sysctl --system

    Проверка:

    sysctl net.ipv4.ip_forward
    sysctl net.ipv6.conf.all.forwarding

    Ожидается:

    net.ipv4.ip_forward = 0
    net.ipv6.conf.all.forwarding = 0

    16. Текущая контрольная точка

    ЭтапСостояние
    Дисковая архитектура D2700Согласована
    ВМ SMR-SRV-OT-SHAREСоздана, VM ID 103
    Ubuntu Server 24.04.4 LTSУстановлена
    Системный диск 100 GiBСоздан, корень около 95,9 GiB
    Hostnamesmr-srv-ot-share установлен
    Временная сеть192.168.1.229/24, SSH работает
    Production management10.44.100.229/24 согласован, настройка позже
    Остальные OT-адресаОжидают согласования
    SMB/NFSЕщё не устанавливались
    D2700/P411Подключение и создание logical drive — отдельный следующий этап

    17. Следующие этапы реализации

    1. Завершить обновление Ubuntu и базовую подготовку ОС.
    2. РепозиторийПроверить ClonezillaQEMU Guest Agent, часовой пояс и политикасинхронизацию хранения образов.времени.
    3. СсылкаСопоставить навсе отдельнуюинтерфейсы статьюUbuntu с netX по TFTP/PXEMAC-адресам.
    4. Получить и восстановлениюзафиксировать Cisco.IP-адреса для VLAN 2002, 2030, 2040, 2006 и Legacy VLAN 1.
    5. СетевыеСформировать интерфейсыокончательный доNetplan и послеправила модернизации.маршрутизации.
    6. Мониторинг,Выбрать проверкафайловые системы для MAIN-DATA и CRITICAL-BACKUP.
    7. Определить точки монтирования и модель передачи logical drive P411 в ВМ.
    8. Установить и настроить Samba.
    9. Установить и настроить NFS для Clonezilla.
    10. Настроить пользователей, группы, ACL, квоты, корзину и предыдущие версии.
    11. Настроить локальное копирование критичных данных в CRITICAL-BACKUP.
    12. Настроить UFW после утверждения всех разрешённых сетей и сервисов.
    13. Добавить мониторинг состояния файлового сервера и контроль резервных копий и аварийное восстановление.копий.

    9.18. Справочные материалы