Расчёт характеристик инсталляции

Требуется рассчитать частную инсталляцию вычислительной мощности, приведённую в таблице 1.

30% вычислительных узлов должны быть оснащены процессорами высокой производительности с коэффициентом переподписки 1. Для остальных ВУ выбран коэффициент переподписки 2.

Связь между ЦОД реализована независимыми оптическими линиями связи, длина каждой из которых составляет менее 40 км. Пропускная способность каждой линии — 40 Гбит/с, максимальная задержка каждой линии — 5 мс.

Исходя из наличия ЦОД и каналов связи между ними методом сегментации будут зоны доступности. Вычислительные ресурсы должны быть распределены между ЦОД в следующих пропорциях:

• ЦОД 1 и 2 — по 45 %.
• ЦОД 3 — 10 %.

Исходя из требований к двум вариантам переподписки потребуется 2 типа агрегатов ВУ в каждой зоне доступности.

Для агрегата с переподпиской 2 выбран сервер с двумя процессорами Intel Xeon Gold 6338 (32 ядра).

Для агрегата с высокопроизводительным процессором выбран сервер с двумя процессорами Intel Xeon Platinum 8380 (40 ядер).

Объём памяти во всех серверах — 1024 ГБ.

Расчёт количества ВУ с высокопроизводительными процессорами

1. Расчёт по CPU:

   $Q_{sCPU} = 0.3 * \frac {Q_{reg}}{Q_{CPU} \ast O_{CPU} \ast E_{CPU}} = 0.3 * \frac {10000}{2 \ast 40 \ast 1 \ast 0,9} \approx 42$.

2. Расчёт по RAM:

   $Q_{sRAM} = 0.3 * \frac {V_{reg}}{(V_{RAM} - 16) \ast E_{RAM}} = 0.3 * \frac {80 \ast 1024}{(1024 -16) \ast 0,9} \approx 28$.

Из двух полученных значений необходимо выбрать большее, а именно 42.

Распределение серверов по ЦОД:

• ЦОД 1 и 2 — по 19 серверов.
• ЦОД 3 — 4 сервера.

Итоговая спецификация сервера приведена в таблице 2.

Расчёт количества ВУ с коэффициентом переподписки CPU 2

1. Расчёт по CPU:

   $Q_{sCPU} = 0.7 * \frac {Q_{reg}}{Q_{CPU} \ast O_{CPU} \ast E_{CPU}} = 0.7 * \frac {10000}{2 \ast 32 \ast 2 \ast 0,9} \approx 61$.

2. Расчёт по RAM:

   $Q_{sRAM} = 0.7 * \frac {V_{reg}}{(V_{RAM} - 16) \ast E_{RAM}} = 0.7 * \frac {80 \ast 1024}{(1024 -16) \ast 0,9} \approx 64$.

Из двух полученных значений необходимо выбрать большее, а именно 64.

Распределение серверов по ЦОД:

• ЦОД 1 и 2 — по 29 серверов.
• ЦОД 3 — 6 серверов.

Итоговая спецификация сервера приведена в таблице 3.

Суммарное количество ВУ — 106. Их итоговое распределение по ЦОД:

• ЦОД 1 и 2 — по 48 серверов.
• ЦОД 3 — 10 серверов.

Расчёт параметров одного сервера

Для серверов Ceph выбрано шасси с 8 дисками SSD NVMe объёмом 7.68 ТБ, пропускная способность диска — 2500 МБайт/сек.

Количество OSD на 1 NVMe диск — 2, количество OSD на сервер: $Q_{sOSD} = {2 \ast 8} = 16$.

Пропускная способность массива дисков одного сервера: $T_{SD} = {0.9 \ast 8 \ast 2500} = 18000$ Мбайт/сек. При профиле нагрузки 30% «на запись» и 70% «на чтение», пропускная способность массива дисков «на чтение» будет равна 12600 Мбайт/сек.

Требуемое количество ядер CPU на сервер: $Q_{CPU} = {16 * 2 + 2 + 2 + 8} = 44$. Наиболее подходящим процессором под рассчитанные требования является 2x Intel Xeon Gold 5318 (24 ядра), итого 48 ядер.

Требуемый объём оперативной памяти: $V_{RAM} = {16 * 4 + 5 + 2 + 4} = 75$ ГБ. Наиболее подходящим объёмом памяти под рассчитанные требования является 128 ГБ.

Для четырёх сетевых карт с пропускной способностью 25 Гбит/сек, пропускная способность сети Ceph Internal: $T_{int} \approx 0.85 * \frac {4 \ast 25 \ast 10^9}{8 \ast 2^{20}} = 10133$. Полученное значение отличается от пропускной способности «на чтение» приблизительно на 20%. Можно допустить, что данное отличие будет оказывать влияние только в моменты пиковой нагрузки.

Итоговая спецификация сервера приведена в таблице 4.

Расчёт количества серверов и кластеров

Объём одного диска в TiB:

$V_D = \frac {7.68 \ast 10^{12}}{2^{40}} \approx 6.99$.

Требуемое количество серверов Ceph (без учёта требований к количеству серверов в кластере):

$N_{sru} = \frac {240 * 3}{8 \ast 6.99 \ast 0.7} \approx 19$.

Предполагаемое распределение серверов по ЦОД (без учёта требований к количеству серверов в кластере):

• ЦОД 1 и 2 — по 8,5 серверов.
• ЦОД 3 — 1,9 сервера.

Исходя из требований к количеству серверов в кластере Ceph распределение кластеров по ЦОД будет следующим:

• ЦОД 1 и 2 — по одному кластеру из 9 узлов.
• ЦОД 3 — кластер из 3 узлов.

Ёмкость кластера из 9 узлов:

$V_{cluster} = 0.7 * \frac {8 \ast 6.99 \ast 9}{3} \approx 117$ TiB.

Ёмкость кластера из 3 узлов:

$V_{cluster} = 0.7 * \frac {8 \ast 6.99 \ast 3}{3} \approx 39$ TiB.

Суммарная ёмкость всех кластеров Ceph: 117+117+39=273 TiB.

Для серверов High-IOPS Storage выбрано шасси с 8 дисками SSD NVMe объёмом 7,68 ТБ, пропускная способность диска — 2500 МБайт/сек.

Требуемое количество серверов: $N_{sru} = \frac {60 \ast 2}{8 \ast 6.99 \ast 0.8} \approx 3$.

Минимальное количество серверов в зоне доступности — 2. Таким образом в каждой зоне доступности необходимо разместить по 2 сервера High-IOPS Storage.

Пропускная способность массива дисков: $T_{SD} = 0.9 * \frac {8 \ast 2500}{2} = 9000$ МБайт/сек.

Минимальное количество ядер CPU на сервер: $Q_{CPU} = \frac {9000}{50000} + 8 \approx 8$. Наиболее подходящим процессором под рассчитанные требования является 2x Intel Xeon Silver 4310 (12 ядер).

Для четырёх сетевых карт с пропускной способностью 25 Гбит/сек, пропускная способность сети: $T = 0.85 * \frac {4 \ast 25 \ast 10^9}{8 \ast 2^20} = 10133$. Данной пропускной способности достаточно, чтобы обрабатывать трафик массива дисков сервера.

Итоговая спецификация сервера приведена в таблице 5.

Исходя из количества ВУ минимальное рекомендованное количество контроллеров — 3. Раскладка узлов контроллера по зонам доступности — по 3 узла на зону.

Распределение компонентов по контроллерам в каждой зоне доступности:

• Контроллер 1: HAProxy, Nova, Cinder, Neutron, иные компоненты, не перечисленные в данном списке и не размещаемые в служебном кластере Kubernetes.
• Контроллер 2: etcd, служебные БД.
• Контроллер 3: служебный кластер Kubernetes.

Итоговая спецификация контроллеров 1 и 3 приведена в таблице 6.

Итоговая спецификация контроллера 2 приведена в таблице 7.

Итоговая спецификация сервера приведена в таблице 8.

При количестве ВУ больше 100 рекомендованное количество узлов мониторинга и логирования — 2.

Итоговая спецификация сервера приведена в таблице 9.

Итоговые требования к портовой ёмкости по ЦОД приведены в таблице 10.

Для сетевой фабрики планируется использовать оборудование с характеристиками, приведёнными в таблице 11.

Итоговые требования к оборудованию фабрики приведены в таблице 12.

Список необходимых сетей приведён в таблице 13.

Итоговые характеристики Платформы приведены в таблице 14.