Новая страница
HP D2700: схема дисковых массивов и назначение хранилищ
| Версия | 0. |
|---|---|
| Дата | |
| Статус | Схема |
| Проект | Расширение памяти сервера |
1. Назначение документа
Документ фиксирует принятую физическую раскладку дисков в полке HP StorageWorks D2700, конфигурацию аппаратных RAID-массивов, назначение каждого массива и роль резервного диска.
В рамках этой статьи последовательно проектируется и настраивается файловое хранилище: SMB-шары, NFS-ресурсы, репозиторий образов Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование выбранных данных.
Массив RECOVERY и его назначение описываются здесь только для фиксации общей дисковой архитектуры. Установка, настройка и эксплуатация TFTP/PXE-сервера будут оформлены в отдельной статье Wiki.
2. Состав оборудования
- Сервер: HP ProLiant DL380 G7.
- Гипервизор: Proxmox VE.
- Внешняя дисковая полка: HP StorageWorks D2700, 25 отсеков SFF.
- Внешний RAID-контроллер: HP Smart Array P411.
- Интерфейс подключения: внешний SAS, кабель Mini-SAS SFF-8088.
- Все диски, включаемые в массивы и резерв, должны быть SAS и определяться контроллером P411.
3. Физическая раскладка дисков по отсекам
| Отсеки | Диски | Роль | Имя |
|---|---|---|---|
| 1–12 | 12 × 600 ГБ SAS 10K | Основной RAID 50 | MAIN-DATA |
| 13–14 | 2 × 146 ГБ SAS 15K | Служебный RAID 1 | RECOVERY |
| 15 | 1 × 600 ГБ SAS 10K | Общий горячий резерв | GLOBAL-SPARE |
| 16–25 | 10 × 500 ГБ SAS 7.2K | Резервный RAID 50 | CRITICAL-BACKUP |
3.1. Карта отсеков
HP D2700 — отсеки 01–25
01 600 GB MAIN-DATA
02 600 GB MAIN-DATA
03 600 GB MAIN-DATA
04 600 GB MAIN-DATA
05 600 GB MAIN-DATA
06 600 GB MAIN-DATA
07 600 GB MAIN-DATA
08 600 GB MAIN-DATA
09 600 GB MAIN-DATA
10 600 GB MAIN-DATA
11 600 GB MAIN-DATA
12 600 GB MAIN-DATA
13 146 GB RECOVERY
14 146 GB RECOVERY
15 600 GB GLOBAL-SPARE
16 500 GB CRITICAL-BACKUP
17 500 GB CRITICAL-BACKUP
18 500 GB CRITICAL-BACKUP
19 500 GB CRITICAL-BACKUP
20 500 GB CRITICAL-BACKUP
21 500 GB CRITICAL-BACKUP
22 500 GB CRITICAL-BACKUP
23 500 GB CRITICAL-BACKUP
24 500 GB CRITICAL-BACKUP
25 500 GB CRITICAL-BACKUP
4. Конфигурация массивов
4.1. Основной массив MAIN-DATA
| Отсеки | 1–12 |
|---|---|
| Состав | 12 × 600 ГБ SAS 10K |
| Уровень RAID | RAID 50 |
| Группировка | 2 группы RAID 5 по 6 дисков |
| Расчётная полезная ёмкость | 6 ТБ, приблизительно 5,46 ТиБ |
| Назначение | Основное файловое хранилище: рабочие документы, SMB/NFS-ресурсы, образы Clonezilla и другие активные данные. |
RAID 50 состоит из нескольких RAID 5-групп, объединённых полосованием. При двух группах массив выдерживает отказ одного диска в каждой группе, но потеря двух дисков в одной и той же группе до завершения rebuild приводит к потере всего логического диска.
4.2. Служебный массив RECOVERY
| Отсеки | 13–14 |
|---|---|
| Состав | 2 × 146 ГБ SAS 15K |
| Уровень RAID | RAID 1 |
| Расчётная полезная ёмкость | 146 ГБ, приблизительно 136 ГиБ |
| Назначение | Выделенное хранилище для будущего сервера восстановления: TFTP, PXE, Cisco IOS/IOS XE, ROMMON, конфигурации сетевого оборудования и служебные загрузочные файлы. |
RECOVERY в общей архитектуре. Настройка TFTP/PXE, правила загрузки прошивок и процедура восстановления Cisco описываются в отдельной статье. Полноразмерные образы рабочих станций Clonezilla размещаются на MAIN-DATA.4.3. Горячий резерв GLOBAL-SPARE
| Отсек | 15 |
|---|---|
| Диск | 600 ГБ SAS 10K |
| Роль | Общий online spare для массивов MAIN-DATA, RECOVERY и CRITICAL-BACKUP. |
Один online spare может быть назначен нескольким массивам, подключённым к одному контроллеру. При отказе активного диска Smart Array автоматически задействует GLOBAL-SPARE и начинает восстановление данных без вмешательства администратора.
4.3.1. Что происходит после отказа диска
- Контроллер обнаруживает отказ физического диска в одном из массивов.
- Диск из отсека 15 активируется как временный участник пострадавшего массива.
- Контроллер восстанавливает на него недостающие данные по информации отказоустойчивости RAID. Для RAID 50 rebuild выполняется внутри соответствующей RAID 5-группы.
- После завершения rebuild массив снова получает полную дисковую отказоустойчивость, но отдельного свободного hot spare временно больше нет.
Штатное состояние:
массив + свободный GLOBAL-SPARE
Отказ диска:
массив в восстановлении → данные строятся на GLOBAL-SPARE
После первого rebuild:
массив снова отказоустойчив → GLOBAL-SPARE временно стал рабочим диском массива
4.3.2. Что происходит после установки нового диска в исходный отсек
После извлечения неисправного диска и установки совместимого исправного диска в его исходный отсек контроллер автоматически запускает обратное копирование (copy-back):
- Новый диск распознаётся Smart Array как замена отказавшего диска.
- Данные автоматически переносятся с активированного
GLOBAL-SPAREна новый диск. - Новый диск становится штатным участником исходного массива.
- Диск в отсеке 15 освобождается от роли временного участника массива и снова получает статус доступного online spare.
После установки замены:
GLOBAL-SPARE
│
└── copy-back данных → новый диск в исходном отсеке
│
└── становится штатным членом массива
Отсек 15:
GLOBAL-SPARE снова доступен для всех назначенных массивов
4.3.3. Требования к заменяющему диску
- Интерфейс — SAS.
- Ёмкость — не меньше ёмкости отказавшего диска.
- Диск должен поддерживаться контроллером и корректно определяться в D2700.
- Предпочтительно использовать диск той же модели, скорости и сектора.
- Если установить диск большего объёма, массив использует только объём, соответствующий исходному диску; излишек не увеличит массив автоматически.
OK, операция copy-back завершена, новый диск входит в массив, а отсек 15 снова отображается как доступный online spare.4.4. Резервный массив CRITICAL-BACKUP
| Отсеки | 16–25 |
|---|---|
| Состав | 10 × 500 ГБ SAS 7.2K |
| Уровень RAID | RAID 50 |
| Группировка | 2 группы RAID 5 по 5 дисков |
| Расчётная полезная ёмкость | 4 ТБ, приблизительно 3,64 ТиБ |
| Назначение | Локальные копии выбранной критичной информации с основного массива. Массив не публикуется как обычная пользовательская шара. |
5. Логика использования массивов
MAIN-DATA
├── рабочие документы
├── SMB-шары
├── NFS-репозиторий
└── образы Clonezilla
│
└── копирование выбранных критичных данных
↓
CRITICAL-BACKUP
RECOVERY
└── зарезервирован под отдельный проект TFTP/PXE и восстановления Cisco
5.1. Основные правила
MAIN-DATAявляется основным рабочим хранилищем.CRITICAL-BACKUPсодержит только отобранные критичные копии.CRITICAL-BACKUPне должен быть доступен пользователям для обычной записи.RECOVERYзарезервирован под отдельный TFTP/PXE-сервис; его настройка выполняется по другой статье Wiki.GLOBAL-SPAREне форматируется и не передаётся операционной системе.- RAID защищает от отказа отдельных дисков, но не заменяет резервное копирование.
6. Имена объектов
| Объект | Имя | Статус |
|---|---|---|
| Основной RAID 50 | MAIN-DATA |
Зафиксировано |
| Служебный RAID 1 | RECOVERY |
Зафиксировано |
| Общий горячий резерв | GLOBAL-SPARE |
Зафиксировано |
| Резервный RAID 50 | CRITICAL-BACKUP |
Зафиксировано |
7. Контроль перед созданием массивов
- Проверить, что все 25 дисков определяются контроллером P411.
- Зафиксировать серийные номера, ёмкость, скорость вращения и номер отсека каждого диска.
- Проверить отсутствие статусов
FailedиPredictive Failure. - Проверить состояние кэш-модуля и батареи/конденсатора P411.
- Создавать массивы только после проверки соответствия дисков карте отсеков.
- Назначить диск из отсека 15 общим online spare для всех трёх массивов.
- Сохранить отчёт конфигурации Smart Array после создания массивов.
8. Следующие разделы инструкции
Установка P411 в DL380 G7 и подключение D2700.Первичный запуск и проверка состояния полки.Создание массивов в Smart Array.Проверка кэша, батареи/конденсатора и параметров rebuild.Передача логических дисков в виртуальные машины Proxmox.АрхитектураРазвёртывание виртуальной машины файлового сервераФайловый сервер разворачивается как отдельная виртуальная машина Ubuntu Server 24.04.4 LTS в Proxmox VE. ОС и конфигурация сервера находятся на внутреннем хранилище Proxmox, а рабочие данные после подключения D2700 будут вынесены на отдельные логические диски аппаратного RAID.
Граница статьи: в этой статье настраиваются файловый сервер, SMB/NFS.NFS-шары, репозиторий Clonezilla, права доступа, ACL, квоты, теневые копии и локальное резервирование. Настройка TFTP/PXE-сервера для массиваRECOVERYвыполняется в отдельной статье Wiki.8.1. Фактические параметры ВМ
Proxmox VE 9.1.9 VM ID 103Имя ВМ SMR-SRV-OT-SHAREHostname Ubuntu smr-srv-ot-shareОС Ubuntu Server 24.04.4 LTS CPU 4 vCPU, 1 socket × 4 cores, CPU type hostRAM 8 GiB BIOS SeaBIOS Machine Default ( i440fx)SCSI Controller VirtIO SCSI singleСистемный диск scsi0, 100 GiB,local-lvm, I/O thread включёнСетевые карты 7 × VirtIO После завершения установки Ubuntu установочный ISO следует извлечь из виртуального CD/DVD-привода, чтобы ВМ всегда загружалась с
scsi0.9. Системный диск и файловая система ОС
Для ОС принято следующее решение:
Virtual Disk: 100 GiB └── LVM └── / — ext4 └── максимально доступный объём- Файловая система корня —
ext4. ФайловыеРазметкасистемы,— LVM.- Шифрование LVM не используется.
- Свободный резерв внутри VG намеренно не оставляется.
- Отдельные тома
/var,/homeи/srvна системном диске не создаются. - По фактической установке корневой раздел имеет доступный объём около 95,9 GiB.
Пользовательские данные не должны постоянно храниться на системном диске. После подключения D2700 каталоги данных будут смонтированы с отдельных logical drive в точки под
/srv.9.1. Контроль разметки после установки
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINTS df -hT / pvs vgs lvsНеобходимо подтвердить, что корень
/используетext4поверх LVM и что внутри VG не осталось значительного нераспределённого объёма.10. Сетевые интерфейсы Proxmox
Файловый сервер подключается к тем же OT-сегментам, что и DNS-сервер BIND9, но порядок
netXу этой ВМ отличается. Поэтому нельзя копировать именаnet0...net6из DNS-ВМ вслепую: ориентироваться нужно на фактический bridge и MAC-адрес.Proxmox MAC Bridge Назначение bridge Адрес SHARE net0BC:24:11:5D:D9:D2vmbr0Временная сеть первоначальной настройки 192.168.1.229/24net1BC:24:11:46:F2:89vmbr1Production management, VLAN 2100 10.44.100.229/24— планируетсяnet2BC:24:11:10:B7:F1vmbr3VLAN 2002, Розлив Будет назначен позже net3BC:24:11:26:DB:1Bvmbr4VLAN 2030, Пивопроизводство Будет назначен позже net4BC:24:11:9C:F1:D6vmbr5VLAN 2040, Утилиты Будет назначен позже net5BC:24:11:32:9F:50vmbr6Legacy OT, untagged access VLAN 1 Будет назначен позже net6BC:24:11:67:35:97vmbr7VLAN 2006, АСТУЭ Будет назначен позже Важно: интерфейсы Ubuntu необходимо окончательно сопоставить сnetXпо MAC-адресам. Именаens18,ens19и т. д. не являются основанием для определения VLAN.10.1. Текущее состояние интерфейсов Ubuntu
После установки ОС зафиксировано:
lo UNKNOWN 127.0.0.1/8 ::1/128 ens18 UP 192.168.1.229/24 ens19 DOWN ens20 DOWN ens21 DOWN ens22 DOWN ens23 DOWN enp2s1 DOWNТекущая маршрутизация:
default via 192.168.1.1 dev ens18 192.168.1.0/24 dev ens18 proto kernel scope link src 192.168.1.229На этапе первоначальной настройки это правильное состояние: активен только временный management-интерфейс, остальные интерфейсы не получают адреса по DHCP.
Системный DNS на данном этапе:
DNS Server: 192.168.1.1 Default route: ens1810.2. Проверка соответствия Ubuntu ↔ Proxmox по MAC
for iface in ens18 ens19 ens20 ens21 ens22 ens23 enp2s1; do printf "%-8s %s\n" "$iface" "$(cat /sys/class/net/$iface/address)" doneРезультат сравнивается с MAC-адресами в таблице выше. Только после этой проверки создаётся окончательный Netplan.
10.3. Правило маршрутизации
ВМ многосетевая, но не должна выполнять функции маршрутизатора между OT-сегментами. На конечной конфигурации используется один согласованный маршрут управления либо точные статические маршруты. На OT-интерфейсах отдельные default gateway не задаются.
net.ipv4.ip_forward = 0 net.ipv6.conf.all.forwarding = 011. Установка Ubuntu Server 24.04
11.1. Параметры установщика
- Hostname: первоначально был введён
baltikashare, после установки исправлен на проектныйsmr-srv-ot-share. - Установить OpenSSH Server.
- Docker и дополнительные Featured Server Snaps не устанавливать.
- Во время установки активировать только временный management-интерфейс.
- Адрес:
192.168.1.229/24. - Gateway:
192.168.1.1. - DNS на этапе установки:
192.168.1.1. - На остальных интерфейсах DHCP отключить.
11.2. Исправление hostname после первого входа
sudo hostnamectl set-hostname smr-srv-ot-share sudo nano /etc/hostsВ
/etc/hostsдолжна присутствовать строка:127.0.1.1 smr-srv-ot-shareКонтроль:
hostnamectl cat /etc/hostname grep 127.0.1.1 /etc/hostsФактически подтверждено:
Static hostname: smr-srv-ot-share Operating System: Ubuntu 24.04.4 LTS Kernel: Linux 6.8.0-137-generic Virtualization: kvm12. Базовая подготовка Ubuntu
12.1. Обновление системы
sudo apt update sudo apt full-upgrade -yПроверка необходимости перезагрузки:
if [ -f /var/run/reboot-required ]; then echo "Требуется перезагрузка:" cat /var/run/reboot-required.pkgs fiЕсли перезагрузка требуется:
sudo systemctl reboot12.2. Базовые и служебные пакеты
sudo apt install -y \ ca-certificates \ curl \ nano \ openssl \ iputils-ping \ tcpdump \ arping \ bash-completion \ lsof \ qemu-guest-agent \ systemd-timesyncd \ ufw \ ethtool \ rsync \ acl \ attrПакет Назначение ca-certificatesКорневые сертификаты CA для HTTPS, APT и проверки TLS. curlПроверка HTTP/HTTPS, API и получение файлов. nanoРедактирование Netplan, Samba/NFS и системных конфигураций. opensslРабота с сертификатами, ключами, хешами и диагностика TLS. iputils-pingБазовая проверка IP-доступности. tcpdumpЗахват и анализ SMB/NFS, ARP, ICMP, NTP и прочего сетевого трафика. arpingПроверка L2-доступности и конфликтов IPv4-адресов. bash-completionАвтодополнение команд Bash. lsofПоиск процессов, использующих файлы, TCP/UDP-порты и сокеты. qemu-guest-agentИнтеграция Ubuntu с Proxmox: сведения о ВМ, корректное управление и поддержка backup freeze/thaw. systemd-timesyncdЛёгкий NTP-клиент для синхронизации системного времени. ufwHost firewall. Пока устанавливается, но не включается до утверждения всех сетей и правил SMB/NFS/SSH. ethtoolДиагностика VirtIO-интерфейсов, драйвера и offload-функций. rsyncМиграция и синхронизация файлов; в дальнейшем может использоваться как часть локального копирования MAIN-DATA → CRITICAL-BACKUP. aclУтилиты getfacl/setfaclдля POSIX ACL файловых шар.attrУправление extended attributes, используемыми Samba и файловыми системами. На этом этапе не устанавливать:samba,nfs-kernel-server,xfsprogs,btrfs-progs,quota,snapper. Сначала необходимо окончательно выбрать файловую систему массивов данных, точки монтирования, модель ACL,квотыквот итеневыетеневыхкопии.копий.13. QEMU Guest Agent
sudo systemctl enable --now qemu-guest-agent systemctl status qemu-guest-agent --no-pager ls -l /dev/virtio-ports/Ожидается:
Active: active (running) /dev/virtio-ports/org.qemu.guest_agent.0Если служба имеет тип
static, это допустимо: агент запускается при наличии VirtIO-канала от Proxmox.14. Часовой пояс и синхронизация времени
sudo timedatectl set-timezone Europe/Samara sudo timedatectl set-local-rtc 0 sudo timedatectl set-ntp true timedatectl statusОжидаемое состояние:
Time zone: Europe/Samara System clock synchronized: yes NTP service: active RTC in local TZ: no15. Запрет маршрутизации между OT-сегментами
Наличие семи интерфейсов не должно превращать файловый сервер в маршрутизатор. Перед вводом нескольких OT-адресов фиксируется явный запрет IPv4/IPv6 forwarding:
sudo tee /etc/sysctl.d/99-disable-forwarding.conf >/dev/null <<'EOF' net.ipv4.ip_forward = 0 net.ipv6.conf.all.forwarding = 0 EOF sudo sysctl --systemПроверка:
sysctl net.ipv4.ip_forward sysctl net.ipv6.conf.all.forwardingОжидается:
net.ipv4.ip_forward = 0 net.ipv6.conf.all.forwarding = 016. Текущая контрольная точка
Этап Состояние Дисковая архитектура D2700 Согласована ВМ SMR-SRV-OT-SHAREСоздана, VM ID 103 Ubuntu Server 24.04.4 LTS Установлена Системный диск 100 GiB Создан, корень около 95,9 GiB Hostname smr-srv-ot-shareустановленВременная сеть 192.168.1.229/24, SSH работаетProduction management 10.44.100.229/24согласован, настройка позжеОстальные OT-адреса Ожидают согласования SMB/NFS Ещё не устанавливались D2700/P411 Подключение и создание logical drive — отдельный следующий этап 17. Следующие этапы реализации
- Завершить обновление Ubuntu и базовую подготовку ОС.
РепозиторийПроверитьClonezillaQEMU Guest Agent, часовой пояс иполитикасинхронизациюхранения образов.времени.СсылкаСопоставитьнавсеотдельнуюинтерфейсыстатьюUbuntu сnetXпоTFTP/PXEMAC-адресам.- Получить и
восстановлениюзафиксироватьCisco.IP-адреса для VLAN 2002, 2030, 2040, 2006 и Legacy VLAN 1. СетевыеСформироватьинтерфейсыокончательныйдоNetplan ипослеправиламодернизации.маршрутизации.Мониторинг,Выбратьпроверкафайловые системы дляMAIN-DATAиCRITICAL-BACKUP.- Определить точки монтирования и модель передачи logical drive P411 в ВМ.
- Установить и настроить Samba.
- Установить и настроить NFS для Clonezilla.
- Настроить пользователей, группы, ACL, квоты, корзину и предыдущие версии.
- Настроить локальное копирование критичных данных в
CRITICAL-BACKUP. - Настроить UFW после утверждения всех разрешённых сетей и сервисов.
- Добавить мониторинг состояния файлового сервера и контроль резервных
копий и аварийное восстановление.копий.
9.18. Справочные материалы- Файловая система корня —