Расчет количества групп размещения (PG) Ceph

Количество групп размещения влияет на потребление ресурсов в кластере и скорость выполнения служебных операций:

• чем меньше групп размещения, тем дольше выполняются операции перемещения данных (recover, rebalance, backfill).
• чем больше групп размещения, тем выше потребление RAM и CPU.

Количество групп размещения рассчитывается не для всего кластера, а для всех OSD в конкретном правиле CRUSH и типе накопителя. Если в кластере несколько типов накопителей, выполните расчет для каждого типа.

Количество групп размещения (PG, Placement Group) в пуле рассчитывается по формулам:

$C = \frac {T \cdot N_{OSD} \cdot R}{RF}$

$PG_{pool} = 2^{\lceil \log_2 C \rceil}$

Здесь:

• $T$ — целевое количество групп размещения на OSD. Рекомендации по выбору значения — в разделе Целевое количество групп размещения на OSD.
• $N_{OSD}$ — количество OSD в правиле CRUSH.
• $R$ — доля потребления данных пулом относительно других пулов. Задается дробным числом от 0 до 1. Сумма долей всех пулов должна быть равна 1.
• $RF$ — фактор репликации. В стандартных случаях — 3.
• $C$ — промежуточное значение для расчета количества групп размещения.
• $PG_{pool}$ — итоговое количество групп размещения в пуле. Получается округлением $C$ вверх до ближайшей степени двойки и задается параметрами pg_num и pgp_num. Степени двойки приведены в таблице 3.

Целевое количество групп размещения на OSD — от 100 до 300.

Ориентируйтесь на следующие значения:

• 100 — если кластер статичный и рост не планируется;
• 150 — если планируется рост емкости более чем на 50%;
• 200 — если планируется рост емкости более чем на 100%;
• 300 — если используются OSD объемом более 8 ТБ.

Примеры ниже приведены для накопителей SSD.

Расчет для пула cinder-volumes:

$T = 100,\ N_{OSD} = 48,\ RF = 3,\ R = 0,8$

$\frac {100 \cdot 48 \cdot 0,8}{3} = 1280$

$PG_{pool} = 2^{\lceil \log_2 1280 \rceil} = 2048$

Расчет для пула manila-volumes:

$T = 100,\ N_{OSD} = 48,\ RF = 3,\ R = 0,15$

$\frac {100 \cdot 48 \cdot 0,15}{3} = 240$

$PG_{pool} = 2^{\lceil \log_2 240 \rceil} = 256$

Расчет для пула vms-ephemeral:

$T = 100,\ N_{OSD} = 48,\ RF = 3,\ R = 0,05$

$\frac {100 \cdot 48 \cdot 0,05}{3} = 80$

$PG_{pool} = 2^{\lceil \log_2 80 \rceil} = 128$

Расчет для пула cinder-volumes:

$T = 150,\ N_{OSD} = 144,\ RF = 3,\ R = 0,95$

$\frac {150 \cdot 144 \cdot 0,95}{3} = 6840$

$PG_{pool} = 2^{\lceil \log_2 6840 \rceil} = 8192$

Расчет для пула vms-ephemeral:

$T = 150,\ N_{OSD} = 144,\ RF = 3,\ R = 0,05$

$\frac {150 \cdot 144 \cdot 0,05}{3} = 360$

$PG_{pool} = 2^{\lceil \log_2 360 \rceil} = 512$