В CedrusData Engine появился контроль памяти в ресурсных группах

В новой версии CedrusData Engine добавили жесткие ограничения памяти для отдельных запросов и ресурсных групп.

Когда одним аналитическим кластером пользуются несколько подразделений, тяжелые запросы одной команды могут замедлять работу остальных. Ресурсные группы помогают разделять нагрузку и устанавливать лимиты памяти для разных подразделений.

Как работает контроль памяти

На worker-узлах CedrusData Engine используется иерархия пулов памяти (memory pool), соответствующая дереву ресурсных групп. Система отслеживает использование памяти в этих пулах и применяет заданные ограничения.

Если памяти не хватает, механизм Low Memory Killer находит наиболее ресурсоемкий запрос внутри группы и завершает его. Так перегрузка одной группы меньше влияет на запросы других команд.

Какие лимиты можно настроить

В CedrusData Engine для каждой ресурсной группы можно настроить три лимита памяти: query.max-memory, query.max-total-memory и query.max-memory-per-node.

Дополнительное свойство hardMemoryPerNodeLimit задает жесткое ограничение на объем памяти, который группа может занимать на отдельном worker-узле.

Теперь администраторам проще контролировать распределение памяти и управлять нагрузкой на кластер.