VK Cloud

Удаление данных: логическое, отложенное и физическое удаление в корпоративных системах

20 ноября 2026 г.
шпрингер.png
Елена Шпрингер
Автор статьи
_blog_head_140.png

После DELETE FROM users WHERE id = 42 приложение получает success, но профиль пользователя ещё может открываться из Redis, находиться в Elasticsearch и оставаться в аналитической витрине. Отдельно хранятся аватар в объектном хранилище и резервная копия базы, сделанная час назад. В этом условном примере запрос успешно выполнился в основной базе, а остальные копии данных предстоит удалить по правилам каждой системы.

В статье разберём, что происходит с данными после удаления и как довести процесс до конца. Начнём с различий между soft delete, отложенным удалением и hard delete: когда запись можно восстановить, когда она перестаёт занимать место и почему физическое удаление в СУБД ещё не означает стирания данных с носителя. Затем проследим за копиями в read-репликах, Redis, Elasticsearch, аналитических витринах, объектном хранилище, очередях и бэкапах. Для каждой системы рассмотрим механизм удаления и способ проверить результат.

Дальше соберём эти операции в общий процесс: определим сроки хранения, порядок согласования и состав журнала, разберём сбои и восстановление из бэкапа, после которого удалённые записи могут вернуться. В конце — типичные ошибки и чек-лист для проверки своего процесса удаления.

Белоконова.jpg

Статья подготовлена вместе с экспертом

Елизавета Белоконова, младший менеджер продукта VK Object Storage

Главное

  • В PostgreSQL после DELETE старая версия строки сохраняется, пока её могут видеть другие транзакции. Обычный VACUUM освобождает место для повторного использования внутри таблицы, но не возвращает его операционной системе.
  • Удаление становится видимым на реплике только после применения изменений из WAL. Режим remote_apply дожидается этого момента, а on подтверждает лишь получение WAL и его сброс на диск реплики.
  • Копии в других системах удаляются по своим правилам. В бакете с включённым версионированием при удалении объекта без указания версии создаётся маркер удаления, а прежние версии сохраняются. Чтобы удалить данные, нужно отдельно удалить версии объекта. Для каждой системы нужно отдельно определить, по какому признаку считать удаление завершённым.
  • Логическое удаление, физическое удаление в СУБД и санитизация носителя решают разные задачи. Руководство NIST SP 800-88 Rev. 2 описывает только санитизацию носителя.

Три вида удаления: логическое, отложенное, физическое

Эти виды различаются тем, можно ли вернуть данные штатно, остаются ли они в аудите и когда перестают занимать место.

Логическое удаление (soft delete)

При логическом удалении запись помечают флагом is_deleted или временной меткой в поле deleted_at. Большинство запросов её больше не возвращает, но данные остаются доступны для восстановления и аудита. Без регулярной очистки помеченные строки накапливаются и занимают место.

В PostgreSQL такая пометка создаёт дополнительную версию строки. Запрос UPDATE users SET deleted_at = now() WHERE id = 42 не перезаписывает существующую строку: старая версия сохраняется, пока её могут видеть другие транзакции. Некоторое время в таблице хранятся обе версии, а место, занятое старой, освобождает VACUUM.

Для уничтожения персональных данных одного флага недостаточно. По п. 8 ст. 3 152-ФЗ уничтожение должно исключать возможность восстановить содержание данных в информационной системе персональных данных и (или) предполагать уничтожение материальных носителей. Запись с флагом можно восстановить, поэтому этому условию она не отвечает. Это следует из определения уничтожения; отдельной нормы о soft delete в законе нет.

Отложенное удаление (deferred delete)

При отложенном удалении сначала назначают срок, например в поле scheduled_for_deletion_at, а затем данные удаляет фоновая задача, обработчик очереди или правило жизненного цикла. До этого момента пользователь может передумать, а команда — согласовать удаление между системами и перенести тяжёлую операцию на время меньшей нагрузки.

Такой подход используют и сами хранилища. В версионируемом бакете S3 правило Expiration создаёт маркер удаления, после чего прежняя версия объекта становится неактуальной (noncurrent). За безвозвратное удаление таких версий отвечает NoncurrentVersionExpiration. Правило жизненного цикла определяет, когда объект или его версия становятся кандидатами на удаление. Фактическая обработка происходит в фоновом режиме и может завершиться позже наступления этого срока. Порядок расчёта и время выполнения зависят от реализации хранилища В PostgreSQL удаление партиции можно отложить, сначала отсоединив её командой DETACH PARTITION. Она останется доступна как отдельная таблица, и перед удалением данные можно сохранить или агрегировать. До выполнения удаления данные продолжают существовать, поэтому назначенная дата должна укладываться в срок, установленный законом или политикой хранения.

Физическое удаление (hard delete)

При физическом удалении запись убирают из основного хранилища без штатной возможности восстановления. Однако hard delete в СУБД, удаление остальных копий и стирание данных с носителя — разные операции.

В самой СУБД освобождение места зависит от механизма хранения. В PostgreSQL после DELETE старая версия строки остаётся до очистки через VACUUM. Обычный VACUUM освобождает место для повторного использования внутри таблицы. Вернуть его операционной системе он может, если в конце файла освободились целые страницы и удалось получить эксклюзивную блокировку. Команда VACUUM FULL создаёт новую копию файла таблицы, требует места под неё и берёт блокировку ACCESS EXCLUSIVE. Команда TRUNCATE очищает таблицу сразу, но нарушает строгую семантику MVCC.

После удаления из основной базы нужно отдельно разобраться с репликами, кэшами, индексами и бэкапами — им посвящён следующий раздел. Стирание данных с носителя относится уже к санитизации. Руководство NIST SP 800-88 Rev. 2, выпущенное в сентябре 2025 года взамен Rev. 1 от 2014 года, определяет её как процесс, после которого доступ к целевым данным на носителе становится неосуществимым при заданном уровне усилий. Команды DELETE и VACUUM эту задачу не решают.

Физическое удаление требуется, когда пометка записи не позволяет выполнить требования к уничтожению данных. Статья 21 152-ФЗ устанавливает основания для уничтожения, в том числе неправомерную обработку, достижение цели обработки и отзыв согласия. Если уничтожить данные в срок невозможно, закон допускает их блокировку; уничтожение нужно подтвердить по требованиям уполномоченного органа. В GDPR право на стирание предусматривает исключения: среди них в ст. 17(3) указаны выполнение правовой обязанности и защита правовых претензий. Секреты и токены, по ошибке попавшие в хранилище, тоже требуют физического удаления вместе со всеми копиями.

Сводка по трём видам

Параметр Soft delete Deferred delete Hard delete
Что происходит с данными Запись помечена, физически остаётся Запись помечена датой исполнения, удаляет её задача, очередь или правило Данные удалены из доступного набора записей или объектов; освобождение места и очистка физических копий зависят от устройства хранилища 
Восстановление Штатно возможно Возможно до наступления срока Штатно нет, копии могут остаться в репликах и бэкапах
Следы в аудите Остаются в самой записи Остаются до исполнения, нужна отметка об исполнении Нужен отдельный журнал
ПДн считаются удалёнными Нет, содержание восстановимо Нет, пока срок не наступил Зависит от того, остались ли копии
Занимает место Да Да, до исполнения В PostgreSQL до VACUUM, затем место переиспользуется

Где хранятся копии данных после удаления из основной системы

Реплики, кэши и другие копии данных нужны для скорости и надёжности, но удаление в каждой системе устроено по-своему. Ниже разберём эти механизмы и способы проверить, что удаление завершилось. Часть этих систем доступна как управляемые сервисы: в Cloud Databases VK Cloud это PostgreSQL, Redis и ClickHouse, а для аналитических витрин есть Arenadata DB.

Read-реплики

Реплика применяет изменения из WAL, поэтому строка исчезает из неё не обязательно в момент завершения DELETE в основной базе. Гарантии зависят от настроек репликации. Если synchronous_standby_names пуст, значимы только режимы on и off, а остальные дают лишь локальные гарантии. При непустом списке on дожидается, пока реплика получит запись о коммите и сбросит её на диск. Режиму remote_write достаточно записи в файловую систему реплики, без гарантии сохранения на надёжном носителе. Режим remote_apply ждёт применения изменений: после этого запросы на реплике видят результат удаления, но задержка коммита увеличивается.

Сама по себе синхронная репликация не гарантирует, что удалённая строка сразу исчезнет из результатов запросов на реплике. Такую гарантию даёт remote_apply; в других режимах сохранённый WAL ещё может ожидать применения, а реплика — продолжать возвращать строку. Чтобы проверить удаление, выполните запрос по идентификатору на каждой реплике: все они должны вернуть ноль строк. Фактическую задержку нужно измерять в своей конфигурации.

Кэши (Redis)

Удаление строки из базы не удаляет её копию из кэша. В Redis ключ может исчезнуть автоматически по истечении TTL, но срок жизни сохраняется не при всех операциях. Команды DEL, SET, GETSET и *STORE удаляют или перезаписывают ключ и сбрасывают его TTL. Команда PERSIST снимает срок жизни, делая ключ постоянным. Команды INCR, LPUSH и HSET TTL не меняют.

Данные пользователя могут храниться сразу в нескольких ключах. Если удалить только user:{id}, они останутся в session:{session_id} или user_list:{page}. Поэтому перед удалением нужен полный перечень ключей с данными пользователя. Для каждого ключа нужно выполнить DEL либо зафиксировать остаточный TTL, чтобы знать, когда данные исчезнут.

Поисковые индексы (Elasticsearch)

В Elasticsearch старая версия документа сначала получает пометку soft-deleted с маркером удаления tombstone. Физически её убирают позже, при слиянии сегментов. Сегменты неизменяемы, поэтому очистка происходит при их пересборке: мелкие сегменты объединяются, а помеченные документы исключаются.

Когда документ перестанет находиться в поиске, зависит от параметра refresh в Delete API. По умолчанию он равен false; значение true запускает обновление шардов, а wait_for ждёт refresh. Принудительное слияние сегментов через force merge рекомендуют только для индексов, доступных лишь для чтения. Если в индекс продолжается запись, такая операция увеличивает стоимость снапшотов.

В индексе могут храниться поля, которых уже нет в основной базе, поэтому проверку проводят по всем идентификаторам пользователя. После refresh поиск не должен возвращать его документы. Это подтверждает их отсутствие в поисковой выдаче, но момент физического удаления из сегментов команда DELETE не определяет.

Аналитические витрины и DWH

ETL-пайплайны обновляют витрину по расписанию, поэтому после DELETE в основной базе строка остаётся в витрине как минимум до очередного запуска. Если инкрементальная выгрузка читает только новые и изменённые строки, удаление вообще не попадёт в неё: строки уже нет, и прочитать её невозможно.

Передачу удалений нужно предусмотреть отдельно — через событие или флаг, который обработает пайплайн. Для этого подходит soft delete: пометка передаётся в витрину как обычное изменение. После очередного запуска запрос по идентификатору должен возвращать ноль строк. Эту проверку включают в сам пайплайн.

Объектное хранилище (S3)

После удаления записи о пользователе его аватар и вложения остаются в объектном хранилище. Команде нужно отдельно собрать список объектов и отправить их на удаление. Ниже описано поведение S3 по документации AWS; особенности других реализаций нужно проверять по их документации.

В бакете с включённым версионированием запрос DELETE без versionId создаёт маркер удаления: объект перестаёт отображаться как текущий, но его прежние версии сохраняются. Чтобы удалить конкретную версию, нужно передать её versionId в запросе удаления. Для удаления всех данных объекта необходимо обработать все его версии. Запрос GET без versionId возвращает 404 с заголовком x-amz-delete-marker: true, и ListObjectsV2 больше не показывает объект. Сохранённые версии можно увидеть через ListObjectVersions.

Неактуальные версии можно удалять автоматически по правилу NoncurrentVersionExpiration или удалять нужные версии явно, указывая versionId. Удаление версии из состава объектов бакета само по себе не подтверждает момент стирания данных с физических носителей. Незавершённые multipart-загрузки правило Expiration не удаляет — для них нужен AbortIncompleteMultipartUpload. Если включён Object Lock, он защищает конкретную версию объекта, но не мешает создавать новые версии и маркеры удаления.

Для проверки получите полный список версий объектов и маркеров удаления по ключам, связанным с пользователем, учитывая все страницы ответа. Убедитесь, что нужных версий больше нет. Если объекты размещены под отдельным префиксом, для поиска можно использовать его. Отсутствие версий в API подтверждает результат на уровне хранилища, но не момент стирания данных с физических носителей. О защите данных в объектном хранилище подробнее рассказано в статье «Облачная безопасность: как защитить данные в S3-хранилище».

Резервные копии

Бэкап, как правило, неизменяем. Удаление из рабочей базы не меняет ранее созданные копии, а восстановление из них может вернуть уже удалённые записи. Политики хранения и удаления копий описаны в документации Cloud Backup, а настройку резервного копирования PostgreSQL в объектное хранилище разбирает статья «Как хранить бэкапы PostgreSQL в S3».

Британский регулятор ICO допускает хранение таких данных в бэкапе до перезаписи по установленному графику. До этого их нужно вывести за пределы использования — beyond use, то есть не применять для других целей. Ответ на запрос об удалении нужно дать без неоправданной задержки и не позднее месяца; в сложных случаях срок можно продлить ещё на два месяца. Руководство ICO не датировано и обновляется в связи с Data (Use and Access) Act, поэтому перед применением нужно свериться с актуальной редакцией.

В 152-ФЗ предусмотрен близкий механизм: если уничтожить данные в установленный срок невозможно, оператор блокирует их и обеспечивает уничтожение не более чем за шесть месяцев, если федеральный закон не устанавливает иной срок. Применимость ч. 6 ст. 21 к бэкапам требует правовой оценки.

На практике используют два подхода: сохраняют карту удалений и применяют её после восстановления либо согласуют срок хранения бэкапов с допустимым сроком уничтожения данных. Для контроля нужно зафиксировать дату перезаписи последнего бэкапа с удалённой записью. До этой даты восстановление должно проходить с применением карты удалений.

Очереди сообщений и потоки событий

В Kafka сообщение с ключом и значением _null _служит маркером удаления — tombstone — для топика с компактацией лога. Потребитель увидит этот маркер, только если успеет дочитать лог до конца за время delete.retention.ms. Сама компактация выполняется в фоне: потоки периодически пересобирают сегменты. Активный сегмент не компактируется, даже если минимальная задержка уже истекла.

До пересборки сегмента сообщение с данными пользователя остаётся в логе. Потребитель, который уже прочитал его, может записать данные во внешнюю систему даже после удаления из основной базы. Поэтому для топиков с персональными данными нужно явно задать delete.retention.ms и срок хранения, не полагаясь на значения по умолчанию.

При проверке нужно убедиться, что tombstone записан, потребители обработали его в пределах delete.retention.ms, а внешние системы удалили полученные данные по своим процедурам.

Как удаление влияет на производительность, согласованность и восстановление

Удаление создаёт нагрузку на основную базу, реплики и пайплайны. Пока изменения доходят до всех систем, данные в них расходятся. При восстановлении из бэкапа удалённые записи могут вернуться, поэтому процедуру восстановления тоже нужно учитывать.

Производительность при удалении

Запрос DELETE FROM logs WHERE created_at < '2024-01-01' на крупной таблице может создать значительную нагрузку. Массовое удаление обычно порождает много записей в WAL, которые затем применяют реплики, и увеличивает дисковый ввод-вывод. После завершения запроса остаётся работа для VACUUM: он убирает мёртвые версии строк и освобождает место для повторного использования внутри таблицы. Нагрузку нужно измерять на своей системе — она зависит от схемы данных и оборудования.

Обычному чтению такой DELETE не мешает. Он получает блокировку ROW EXCLUSIVE на таблицу и блокировки FOR UPDATE на удаляемые строки. Блокировки строк задерживают конкурирующие операции записи и запросы с блокировкой, но не обычный SELECT: тот конфликтует только с ACCESS EXCLUSIVE. Поэтому ждать придётся, например, запросам UPDATE и DELETE, которые обращаются к тем же строкам.

Вместо одного массового DELETE можно использовать:

  • Партиционирование по дате. Удалить отдельную партицию через DROP TABLE или отсоединить её через ALTER TABLE ... DETACH PARTITION быстрее, чем удалять строки по одной. Последующая очистка через VACUUM для этой операции не нужна.
  • Отсоединение партиции перед удалением. Она остаётся доступной как отдельная таблица, поэтому данные можно сначала выгрузить в архив или агрегировать.
  • Удаление порциями с паузами между ними.

При работе с партициями нужно учитывать блокировки. Команды DROP TABLE и DETACH PARTITION получают ACCESS EXCLUSIVE на родительскую таблицу. Вариант DETACH PARTITION ... CONCURRENTLY требует только SHARE UPDATE EXCLUSIVE, но имеет ограничения, описанные для ALTER TABLE. Отдельной команды DROP PARTITION в PostgreSQL нет.

У DELETE в PostgreSQL нет LIMIT, но ограничить размер порции можно через CTE с ctid. В документации приведён такой пример:

WITH delete_batch AS ( SELECT l.ctid FROM user_logs AS l WHERE l.status = 'archived' ORDER BY l.creation_date FOR UPDATE LIMIT 10000 ) DELETE FROM user_logs AS dl USING delete_batch AS del WHERE dl.ctid = del.ctid;

Документация оговаривает, что использовать ctid в этом случае безопасно, поскольку запрос выполняется повторно. Размер порции 10000 взят из примера и не служит рекомендацией. Размер порции и паузы между запусками подбирают по нагрузке на реплики и VACUUM. Если перед удалением данные архивируют, появляется ещё одна копия — для неё тоже нужны срок хранения и процедура удаления.

Согласованность при распределённом удалении

Удалить данные из нескольких систем одной транзакцией не получится. Если строку удалили из базы, но документ остался в индексе, поиск продолжит его возвращать. Если сначала обновили кэш, а до изменения базы произошёл сбой, данные тоже разойдутся. Согласовать эти операции помогают три подхода.

Transactional Outbox сохраняет событие об удалении в той же транзакции, что и DELETE. Отдельный процесс асинхронно доставляет событие потребителям, поэтому сбой между изменением базы и публикацией не приводит к его потере. Доставка может повторяться, и потребители должны быть идемпотентными: попытка удалить уже отсутствующий объект не должна вызывать ошибку.

Saga организует удаление как последовательность локальных операций. На случай сбоя для них предусматривают компенсирующие действия. Физическое уничтожение компенсировать нельзя, поэтому сначала выполняют обратимые шаги и только затем — необратимые.

При двухфазном удалении сначала во всех системах помечают данные и закрывают к ним доступ. Физическое уничтожение запускают после того, как каждая система подтвердила пометку. Если хотя бы одно подтверждение не получено, к необратимому шагу не переходят.

Влияние на восстановление после сбоев

При восстановлении система возвращается к состоянию на выбранный момент. Если данные удалили позже, они появятся снова вместе с остальными записями. Так в рабочую систему могут вернуться данные, уничтожение которых уже было подтверждено.

Чтобы этого не произошло, ведут карту удалений — журнал идентификаторов физически удалённых объектов с временными метками. После восстановления по этому журналу повторно удаляют записи и только затем возвращают систему в работу. Карту хранят вне восстанавливаемого хранилища, иначе откат затронет и её. В неё записывают идентификаторы и метаданные без содержимого удалённых объектов. Эту же карту применяют к репликам, индексам и кэшам, восстановленным из бэкапа.

Как определить сроки хранения и инициатора удаления

В политике хранения для каждого типа данных указывают, кто принимает решение об удалении, на каком основании и когда его нужно запустить.

Откуда берётся срок хранения

При выборе срока учитывают требования регуляторов, потребности бизнеса — например, аналитику за несколько лет или историю заказов, — стоимость хранения и обязательства перед пользователем, закреплённые в политике обработки. Конкретные сроки берут из нормативных актов и договоров и вносят в политику data retention. Они зависят от типа данных и отрасли, поэтому универсальных сроков здесь нет. GDPR требует хранить данные не дольше, чем необходимо для целей обработки (ст. 5(1)(e)). Контролёр должен уметь подтвердить соблюдение этого требования (ст. 5(2)).

По ч. 4 и 5 ст. 21 152-ФЗ данные уничтожают в течение 30 дней после достижения цели обработки или отзыва согласия, если договор или закон не предусматривают иное. Если уложиться в срок невозможно, оператор блокирует данные и обеспечивает их уничтожение не более чем за шесть месяцев, если федеральный закон не устанавливает другой срок. Уничтожение подтверждают по требованиям уполномоченного органа (ч. 6 и 7).

Эти требования нужно отразить в системе. Срок задают полем и правилом политики хранения, блокировку реализуют через soft delete или закрытие доступа, уничтожение охватывает все копии, а результат фиксируют в журнале.

Кто инициирует удаление

От инициатора зависит, нужно ли подтверждать запрос, давать время на его отмену и документировать действия. Для каждого случая в политике хранения описывают отдельный сценарий.

Инициатор Пример Требования к процессу
Пользователь Запрос на удаление аккаунта, отзыв согласия Подтверждение запроса, период охлаждения, соблюдение установленного законом срока ответа
Оператор при неправомерной обработке Неправомерная обработка выявлена самостоятельно или по запросу уполномоченного органа Прекращение неправомерной обработки в течение 3 рабочих дней; если это невозможно — уничтожение в течение 10 рабочих дней (ч. 3 ст. 21). Документирование и подтверждение
Автоматика Истёк срок хранения Правило жизненного цикла, запись в журнале
Администратор Ручная очистка Согласование, аудит
Инцидент Утечка, требующая срочного удаления данных Процедура реагирования на инцидент, приоритет над плановыми задачами

Как организовать согласование, журналирование и проверку удаления

Чтобы контролировать удаление, нужны журнал операций, согласование перед необратимым шагом и проверка результата.

Журналирование: что записывать

В журнале фиксируют:

  • инициатора удаления: пользователя, систему или администратора;
  • идентификатор и тип удалённых данных;
  • время удаления в каждой системе;
  • основание: истечение срока хранения, запрос пользователя или требование закона;
  • перечень систем, из которых удалены данные;
  • результат проверки в каждой системе по критериям из раздела о копиях.

Для персональных данных часть требований к документированию установлена нормативно. Приказ Роскомнадзора от 28.10.2022 № 179 требует подтверждать уничтожение актом, а при автоматизированной обработке — актом и выгрузкой из журнала регистрации событий в информационной системе. Приказ издан на основании ч. 7 ст. 21 152-ФЗ, зарегистрирован Минюстом 28.11.2022 под № 71167 и действует с 1 марта 2023 года до 1 марта 2029 года.

В акте указывают оператора и его адрес; ФИО субъекта или иные данные о нём; ФИО, должность и подпись лица, уничтожившего данные; категории данных; наименование системы; способ, причину и дату уничтожения. Выгрузка должна содержать ФИО или иные данные субъекта, категории данных, наименование системы, причину и дату уничтожения. Недостающие в выгрузке сведения вносят в акт. Акт и выгрузку хранят 3 года с даты уничтожения.

Поля журнала нужно спроектировать так, чтобы из него можно было получить необходимую выгрузку. При этом приказ не устанавливает общего правила хранить журнал дольше самих данных: трёхлетний срок относится к акту и выгрузке. Журнал с идентификаторами субъектов сам содержит персональные данные, поэтому срок его хранения требует отдельного обоснования, как и срок хранения исходных данных (ст. 5(1)(e) GDPR). В него записывают идентификаторы и метаданные, но не содержимое удалённых объектов.

Согласование для чувствительных данных

Физическое уничтожение персональных, финансовых и медицинских данных требует явного согласования с Data Owner, CISO или уполномоченным лицом. В тикет-системе фиксируют согласование, основание для удаления и перечень систем. После выполнения проверяют результат. Роли инициатора и исполнителя должны быть разделены.

Согласование требуется перед необратимым шагом. Пометить данные и закрыть к ним доступ можно до его получения, а запускать физическое уничтожение — только после.

Проверка результата

Успешное завершение операции в одной системе не подтверждает удаление всех копий. Проверка должна охватывать каждое место хранения:

  1. Основная БД: запрос по идентификатору возвращает ноль строк.
  2. Реплики: тот же запрос выполнен на каждой реплике.
  3. Кэш: обработан весь перечень ключей субъекта, для оставшихся ключей известен остаточный TTL.
  4. Поисковый индекс: после refresh поиск по идентификатору не возвращает документов.
  5. Витрина: после очередного запуска пайплайна запрос возвращает ноль строк.
  6. Объектное хранилище: список версий по префиксу пользователя пуст.
  7. Очереди: tombstone записан и обработан, данные у внешних получателей удалены.
  8. Бэкапы: зафиксирована дата перезаписи, настроено применение карты удалений при восстановлении.

Пункты 1–7 проверяет автоматический сценарий, который записывает результат по каждой системе в журнал. Бэкапы проверяют отдельно: их срок перезаписи наступает позже. Пока он не истёк, статус должен отражать наличие копий, например: выполнено, остаточные копии до даты X.

Типичные ошибки при организации удаления данных

Ошибка 1: удаление только из основной системы

Команда удаляет запись из PostgreSQL и закрывает задачу, хотя данные остаются в Elasticsearch, Redis, объектном хранилище, витрине и бэкапах. Эти копии обнаруживаются при аудите или проверке. Чтобы не пропустить их, карту зависимостей составляют заранее и включают в процедуру удаления все связанные системы.

Ошибка 2: нет карты мест хранения

Без инвентаризации легко упустить выгрузки для подрядчиков, тестовые стенды, сохранённые дампы и логи приложений с идентификаторами пользователей. Для каждого места хранения в карте нужно указать владельца и способ удаления данных. Иначе по ней нельзя будет ни организовать работу, ни проверить результат.

Ошибка 3: конфликт удаления и резервного копирования

Удаление считают завершённым, хотя запись остаётся в бэкапе и вернётся при восстановлении. Выше описаны два подхода: применение карты удалений после восстановления и согласование срока хранения бэкапов с допустимым сроком уничтожения данных. Но каждый из них требует проверки реализации. Карта удалений должна храниться вне восстанавливаемого хранилища, а процедура восстановления — применять её до приёма трафика. Дату перезаписи последнего бэкапа с удалённой записью нужно зафиксировать в журнале. Для персональных данных её сопоставляют с требованиями ч. 6 ст. 21 152-ФЗ и позицией ICO о выводе данных за пределы использования.

Ошибка 4: бесконтрольные ручные операции

Администратор выполняет DELETE в production без тикета, записи в журнале и подтверждения. Такую операцию нельзя отследить и отменить. Если удалены персональные данные, возникают и проблемы с подтверждением уничтожения: акт и выгрузка по приказу № 179 опираются на записи журнала событий. Ручная очистка должна проходить ту же процедуру, что и автоматическая: пометка, согласование, исполнение и запись результата.

Ошибка 5: soft delete без физической очистки

Команда внедряет soft delete, но не планирует последующее удаление. Помеченные строки накапливаются, запросам требуется фильтр по флагу, таблицы и индексы растут. В PostgreSQL такая пометка выполняется через UPDATE, поэтому дополнительно появляются старые версии строк, которые сохраняются до VACUUM. Даже после физического удаления помеченных записей место не освобождается для повторного использования без очистки.

Для персональных данных возникает ещё одна проблема: запись с флагом можно восстановить, поэтому она не отвечает определению уничтожения из п. 8 ст. 3 152-ФЗ. Срок, установленный ст. 21, может истечь, пока данные всё ещё хранятся в базе. Дату физического удаления и правило очистки нужно предусмотреть сразу при внедрении soft delete.

Чек-лист перед внедрением процесса удаления данных

Инвентаризация

  • Составить карту всех мест хранения данных: основная БД, реплики, кэши, индексы, витрины, объектное хранилище, очереди, логи и бэкапы.
  • Для каждой системы описать, как в неё попадают данные и как их удалить.
  • Назначить ответственного за удаление в каждой системе.

Классификация и сроки

  • Разделить данные по типам: персональные, финансовые, логи, медиа.
  • Вместе с юристом определить сроки хранения для каждого типа на основании нормативных актов и договоров.
  • Определить, какие данные не подлежат удалению, а для каких применяются soft delete, deferred delete и hard delete.

Процесс удаления

  • Указать инициатора для каждого сценария.
  • Описать последовательность операций во всех системах: сначала обратимые шаги, затем необратимые.
  • Предусмотреть действия при сбое в одной из систем: повторные попытки, эскалацию и статус выполнено частично.
  • Зафиксировать режим synchronous_commit и способ проверки реплик: видимость удаления на реплике гарантирует только remote_apply.
  • Реализовать журнал с полями из раздела о журналировании.
  • Организовать хранение карты удалений вне восстанавливаемого хранилища.

Проверка и аудит

  • Для каждой системы определить, как проверить завершение удаления, и автоматизировать эту проверку.
  • Отдельно обосновать срок хранения журнала. Приказ № 179 устанавливает срок 3 года с даты уничтожения для акта и выгрузки. Сам журнал содержит идентификаторы субъектов, поэтому по ст. 5(1)(e) GDPR его нельзя хранить дольше, чем необходимо.
  • Провести пробный запуск в тестовой среде, включая восстановление из бэкапа с применением карты удалений.

Частые вопросы про удаление данных

Удаляет ли DELETE данные физически?

Не сразу. В PostgreSQL после DELETE старая версия строки сохраняется, пока её могут видеть другие транзакции. Место освобождает VACUUM: оно становится доступным для повторного использования внутри таблицы, но обычно не возвращается операционной системе. Стирание данных с носителя — отдельная задача, описанная в руководстве NIST SP 800-88 Rev. 2.

Считается ли soft delete удалением персональных данных?

Скорее нет. По п. 8 ст. 3 152-ФЗ уничтожение должно исключать возможность восстановить содержание данных в информационной системе. Запись с флагом восстановить можно. Это вывод из определения уничтожения, а не отдельная норма о soft delete. Для персональных данных нужно также определить срок, предусмотреть блокировку, физическое уничтожение и его подтверждение по ст. 21.

Как удалить данные из резервной копии?

На практике либо хранят карту удалений вне восстанавливаемого хранилища и применяют её после каждого восстановления, либо согласуют срок хранения бэкапов с допустимым сроком уничтожения данных. ICO допускает сохранение данных в бэкапе до перезаписи по установленному графику, но требует до этого вывести их за пределы использования.

Почему удалённый документ ещё находится в поиске?

В Elasticsearch документ сначала получает пометку soft-deleted с маркером tombstone, а физически удаляется при слиянии сегментов. Из поисковой выдачи он исчезает после refresh. В Delete API параметр refresh по умолчанию равен false; значение true запускает обновление шардов, а wait_for дожидается refresh.

Чтобы проверить результат, после refresh выполните поиск по идентификатору: он не должен возвращать документ. Это подтверждает отсутствие документа в выдаче, но не его физическое удаление из сегментов — срок этой операции команда DELETE не определяет.

Достаточно ли синхронной репликации?

Зависит от режима. Режим remote_apply ждёт применения изменений и гарантирует видимость удаления на реплике. Режим on подтверждает только получение WAL и его сброс на диск реплики — изменения ещё могут ожидать применения. Результат проверяют запросом по идентификатору на каждой реплике: все запросы должны вернуть ноль строк.

Выводы: удаление как управляемый процесс

Команда DELETE в основной базе не завершает удаление данных из корпоративной системы. Копии в репликах, кэшах, индексах, витринах и бэкапах требуют отдельных операций и проверок. Часть из них, прежде всего резервные копии, исчезает только по графику перезаписи. При этом логическое удаление, физическое удаление в СУБД и санитизация носителя решают разные задачи.

Процесс удаления нужно проектировать вместе с политикой хранения: определить сроки, составить карту копий, предусмотреть пометку и блокировку, организовать физическое уничтожение и зафиксировать результаты проверки в журнале.

С чего начать:

  • Составить карту копий, если её ещё нет: без неё нельзя проверить полноту удаления.
  • Для персональных данных предусмотреть срок, блокировку, уничтожение и подтверждение — одного soft delete недостаточно.
  • Для копий, которые очищаются по расписанию, фиксировать дату, когда в них больше не будет удалённой записи. Это относится к бэкапам, витринам и сегментам индекса.
  • Проверить режим synchronous_commit, если нужна гарантия, что удаление стало видимым на реплике.

Узнавайте о выходе новых статей в блоге первыми!

Будем держать в курсе новостей и облачных трендов

section-subscribe_2x.png
    section-subscribe_2x.png

    Оставьте заявку, чтобы получить консультацию

    Наши специалисты свяжутся с вами в ближайшее время и ответят на все вопросы.

    section_subscribe_2x_9ab2d878a6_ac1afd4471_aed1c6d636.png
              Ссылка скопирована
              Поделиться

              Почитать по теме

              _blog_head_10.png
              29 сентября

              Presigned URL в S3: как выдавать временный доступ к объекту без передачи ключей

              _blog_head_21.png
              17 сентября

              Что такое токенизация и почему языковые модели считают текст не так, как человек

              _blog_head_11.png
              8 сентября

              LoRA и QLoRA: как выбрать GPU для файнтюнинга LLM без миллионного бюджета

              40+ готовых сервисов