Пример расчёта характеристик инсталляции

Требуется рассчитать частную инсталляцию вычислительной мощности, приведённую в таблице 1.

30% вычислительных узлов должны быть оснащены процессорами высокой производительности с коэффициентом переподписки 1. Для остальных ВУ выбран коэффициент переподписки 2.

Связь между ЦОД реализована независимыми оптическими линиями связи, длина каждой из которых составляет менее 40 км. Пропускная способность каждой линии — 40 Гбит/с, максимальная задержка каждой линии — 5 мс.

Исходя из наличия ЦОД и каналов связи между ними методом сегментации будут зоны доступности. Вычислительные ресурсы должны быть распределены между ЦОД в следующих пропорциях:

• ЦОД 1 и 2 — по 45 %.
• ЦОД 3 — 10 %.

Исходя из требований к двум вариантам переподписки потребуется 2 типа агрегатов ВУ в каждой зоне доступности.

Для агрегата с переподпиской 2 выбран сервер с двумя процессорами Intel Xeon Gold 6338 (32 ядра).

Для агрегата с высокопроизводительным процессором выбран сервер с двумя процессорами Intel Xeon Platinum 8380 (40 ядер).

Объём памяти во всех серверах — 1024 ГБ.

1. Расчёт по CPU:

   $Q_{sCPU} = 0.3 * \frac {Q_{reg}}{Q_{CPU} \ast O_{CPU} \ast E_{CPU}} = 0.3 * \frac {10000}{2 \ast 40 \ast 1 \ast 0,9} \approx 42$

2. Расчёт по RAM:

   $Q_{sRAM} = 0.3 * \frac {V_{reg}}{(V_{RAM} - 16) \ast E_{RAM}} = 0.3 * \frac {80 \ast 1024}{(1024 -16) \ast 0,9} \approx 28$

Из двух полученных значений необходимо выбрать большее, а именно 42.

Распределение серверов по ЦОД:

• ЦОД 1 и 2 — по 19 серверов.
• ЦОД 3 — 4 сервера.

Итоговая спецификация сервера приведена в таблице 2.

1. Расчёт по CPU:

   $Q_{sCPU} = 0.7 * \frac {Q_{reg}}{Q_{CPU} \ast O_{CPU} \ast E_{CPU}} = 0.7 * \frac {10000}{2 \ast 32 \ast 2 \ast 0,9} \approx 61$

2. Расчёт по RAM:

   $Q_{sRAM} = 0.7 * \frac {V_{reg}}{(V_{RAM} - 16) \ast E_{RAM}} = 0.7 * \frac {80 \ast 1024}{(1024 -16) \ast 0,9} \approx 64$

Из двух полученных значений необходимо выбрать большее, а именно 64.

Распределение серверов по ЦОД:

• ЦОД 1 и 2 — по 29 серверов.
• ЦОД 3 — 6 серверов.

Итоговая спецификация сервера приведена в таблице 3.

Суммарное количество ВУ — 106. Их итоговое распределение по ЦОД:

• ЦОД 1 и 2 — по 48 серверов.
• ЦОД 3 — 10 серверов.

1. Для серверов Ceph выбрано шасси с 8 дисками SSD NVMe объёмом 7.68 ТБ, пропускная способность диска — 2500 МБайт/сек.

2. Количество OSD на 1 NVMe диск — 2, количество OSD на сервер:

   $Q_{sOSD} = {2 \ast 8} = 16$

3. Пропускная способность массива дисков одного сервера (Мбайт/сек):

   $T_{SD} = {0.9 \ast 8 \ast 2500} = 18000$

   При профиле нагрузки 30% «на запись» и 70% «на чтение», пропускная способность массива дисков «на чтение» будет равна 12600 Мбайт/сек.

4. Требуемое количество ядер CPU на сервер:

   $Q_{CPU} = {16 * 2 + 2 + 2 + 8} = 44$

   Наиболее подходящим процессором под рассчитанные требования является 2x Intel Xeon Gold 5318 (24 ядра), итого 48 ядер.

5. Требуемый объём оперативной памяти (ГБ):

   $V_{RAM} = {16 * 4 + 5 + 2 + 4} = 75$

   Наиболее подходящим объёмом памяти под рассчитанные требования является 128 ГБ.

6. Для четырёх сетевых карт с пропускной способностью 25 Гбит/сек, пропускная способность сети Ceph Internal:

   $T_{int} \approx 0.85 * \frac {4 \ast 25 \ast 10^9}{8 \ast 2^{20}} = 10133$

   Полученное значение отличается от пропускной способности «на чтение» приблизительно на 20%. Можно допустить, что данное отличие будет оказывать влияние только в моменты пиковой нагрузки.

Итоговая спецификация сервера приведена в таблице 4.

Объём одного диска в TiB:

$V_D = \frac {7.68 \ast 10^{12}}{2^{40}} \approx 6.99$

Требуемое количество серверов Ceph (без учёта требований к количеству серверов в кластере):

$N_{sru} = \frac {240 * 3}{8 \ast 6.99 \ast 0.7} \approx 19$

Предполагаемое распределение серверов по ЦОД (без учёта требований к количеству серверов в кластере):

• ЦОД 1 и 2 — по 8,5 серверов.
• ЦОД 3 — 1,9 сервера.

Исходя из требований к количеству серверов в кластере Ceph распределение кластеров по ЦОД будет следующим:

• ЦОД 1 и 2 — по одному кластеру из 9 узлов.
• ЦОД 3 — кластер из 3 узлов.

Ёмкость кластера из 9 узлов (TiB):

$V_{cluster} = 0.7 * \frac {8 \ast 6.99 \ast 9}{3} \approx 117$

Ёмкость кластера из 3 узлов (TiB):

$V_{cluster} = 0.7 * \frac {8 \ast 6.99 \ast 3}{3} \approx 39$

Суммарная ёмкость всех кластеров Ceph: 117+117+39=273 TiB.

1. Для серверов High-IOPS Storage выбрано шасси с 8 дисками SSD NVMe объёмом 7,68 ТБ, пропускная способность диска — 2500 МБайт/сек.

2. Требуемое количество серверов:

   $N_{sru} = \frac {60 \ast 2}{8 \ast 6.99 \ast 0.8} \approx 3$

   Минимальное количество серверов в зоне доступности — 2. Таким образом в каждой зоне доступности необходимо разместить по 2 сервера High-IOPS Storage.

3. Пропускная способность массива дисков (МБайт/сек):

   $T_{SD} = 0.9 * \frac {8 \ast 2500}{2} = 9000$

4. Минимальное количество ядер CPU на сервер:

   $Q_{CPU} = \frac {9000}{50000} + 8 \approx 8$

   Наиболее подходящим процессором под рассчитанные требования является 2x Intel Xeon Silver 4310 (12 ядер).

5. Для четырёх сетевых карт с пропускной способностью 25 Гбит/сек, пропускная способность сети:

   $T \approx 0.85 * \frac {4 \ast 25 \ast 10^9}{8 \ast 2^{20}} = 10133$

   Данной пропускной способности достаточно, чтобы обрабатывать трафик массива дисков сервера.

Итоговая спецификация сервера приведена в таблице 5.

В каждой зоне доступности располагается по одному узлу evh с характеристиками, приведёнными в таблице 6.

Исходя из количества ВУ минимальное рекомендованное количество контроллеров — 3. Раскладка узлов контроллера по зонам доступности — по 3 узла на зону.

Распределение компонентов по контроллерам в каждой зоне доступности:

• Контроллер 1: HAProxy, Nova, Cinder, Neutron и иные компоненты, не перечисленные в данном списке и не размещаемые в служебном кластере Kubernetes.
• Контроллер 2: etcd и служебные БД.
• Контроллер 3: служебный кластер Kubernetes.

Итоговая спецификация контроллеров 1 и 3 приведена в таблице 7.

Итоговая спецификация контроллера 2 приведена в таблице 8.

Итоговая спецификация сервера приведена в таблице 9.

Итоговая спецификация сервера приведена в таблице 10.

При количестве ВУ больше 100 рекомендованное количество узлов мониторинга и логирования — 2.

Итоговые требования к портовой ёмкости по ЦОД приведены в таблице 11.

Для сетевой фабрики планируется использовать оборудование с характеристиками, приведёнными в таблице 12.

Итоговые требования к оборудованию фабрики приведены в таблице 13.

Список необходимых сетей приведён в таблице 14.

Итоговые характеристики Платформы приведены в таблице 15.