VK Cloud logo

rclone көмегімен нысандық қоймадағы деректерді резервтік көшірмелеу

VK Object Storage қызметінің көмегімен нақты тапсырмаға сай құрал таңдап, деректердің резервтік көшірмесін жасауды ұйымдастыруға болады. Командалық жолдан жұмыс істеу үшін rclone сай келеді — бұл S3-үйлесімді жадтарды, жылдамдықпен шифрлауды және икемді сақтау саясаттарын қолдайтын утилита.

Мысал ретінде кейіннен мына деректер қолданылады:

  • Бакет атауы: backup-bucket
  • Өңір: ru-msk
  • VK Object Storage эндпоинті: https://hb.ru-msk.vkcloud-storage.ru

Дайындық қадамдар

  1. VK Object Storage қызметіне аккаунт жасаңыз, егер ол әлі жасалмаса:

    1. VK Cloud жеке кабинетіне өтіңіз.

    2. Жобаны таңдаңыз.

    3. Object Storage → Аккаунты бөліміне өтіңіз.

    4. Аккаунт қосу немесе Қосу түймесін басыңыз.

    5. Аккаунт атауын белгілеңіз.

    6. Жасау түймесін басыңыз.

    7. Ашылған терезеде қолжетімділік кілтінің идентификаторын (Access Key ID) және құпия кілтті (Secret Key) көшіріп, сақтаңыз.

  2. AWS CLI орнатылғанын және жасалған VK Object Storage аккаунтымен жұмыс істеуге конфигурацияланғанын тексеріңіз. Бұл объектілердің өмірлік циклін CLI арқылы басқаруды жоспарласаңыз қажет болады.

  3. backup-bucket атауымен бакет жасаңыз.

  4. rclone утилитасын ресми құжаттамаға сүйеніп орнатыңыз.

1. VK Object Storage-пен жұмыс істеуге rclone-ды конфигурациялаңыз

  1. rclone-ды интерактивті конфигурациялауды іске қосыңыз:

    rclone config
  2. Жаңа қосылым жасау үшін n (new remote) опциясын таңдап, параметрлерді белгілеңіз:

    • Қосылым атауын көрсетіңіз, мысалы vkcloud.
    • s3 (Storage) жад түрін таңдаңыз.
    • Провайдер ретінде Other таңдаңыз (кез келген S3-үйлесімді провайдер).
    • Қосылым параметрлерін белгілеңіз.

    ~/.config/rclone/rclone.conf файлындағы қорытынды конфигурация мынадай болуы тиіс:

    [vkcloud]type = s3provider = Otherenv_auth = falseaccess_key_id = <ACCESS_KEY>secret_access_key = <SECRET_KEY>region = ru-mskendpoint = https://hb.ru-msk.vkcloud-storage.ru

    Мұнда:

    • <ACCESS_KEY> — VK Object Storage аккаунтын жасаған кезде алынған Access Key ID мәні.
    • <SECRET_KEY> — VK Object Storage аккаунтын жасаған кезде алынған Secret Key мәні.
    • ru-msk — аккаунттың өңір коды. Қазақстан өңірі үшін kz-ast қолданыңыз.
    • https://hb.ru-msk.vkcloud-storage.ru — Мәскеу өңірінің VK Object Storage қызметінің эндпоинті. Қазақстан өңірі үшін https://hb.kz-ast.vkcloud-storage.ru қолданыңыз.
  3. Қосылымды мына команданы орындап тексеріңіз:

    rclone lsd vkcloud:

    Шығарылымда жасалған backup-bucket бакеті пайда болуы тиіс.

2. (Қалауыңызша) Трафикті оңтайландыру үшін фильтрлерді конфигурациялаңыз

Резервтік көшірме жасау кезінде уақытша және қажетсіз файлдарды алып тастауға болады, бұл берілетін деректер көлемін және операцияны орындау уақытын қысқартады. Ол үшін filter.txt фильтр файлын жасап, онда алып тастау қажет файлдарды көрсетіңіз:

# filter.txt- *.tmp- node_modules/**+ *

Бұл файлдың атауын жергілікті және қашықтағы жадты синхрондау командасын шақырғанда --filter-from флагымен көрсету қажет болады.

Файл атауының алдындағы + белгісі файлды резервтік көшірмеге енгізу қажет екенін, ал - белгісі — елемеу қажет екенін білдіреді. Жоғарыдағы файл мысалында фильтрлер мынадай жұмыс істейді:

  • .tmp-мен аяқталатын барлық файлдарды алып тастау (кез келген ұяшықтау деңгейінде);
  • node_modules қалтасын және оның барлық құрамын рекурсивті алып тастау;
  • алдыңғы ережелерге сәйкес келмеген барлық қалғанын енгізу.

Егер жағдай күрделі болса немесе фильтрлеуге арналған файлдар аз болса, оларды sync синхрондау командасында --exclude немесе --include флагтары арқылы тікелей көрсетуге болады.

3. (Қалауыңызша) Деректерді жылдамдықпен шифрлауды конфигурациялаңыз

rclone утилитасы деректерді жадқа жібермес бұрын crypt типті қосылым арқылы шифрлауды қолдайды. Бұл бакетте серверлік шифрлау болмаса да, деректерді шифрланған түрде сақтауға мүмкіндік береді.

Жергілікті және қашықтағы жадты синхрондау кезінде шифрлауды конфигурациялау үшін:

  1. rclone-ды интерактивті конфигурациялауды іске қосыңыз:

    rclone config
  2. Жаңа қосылым жасау үшін n (new remote) опциясын таңдап, параметрлерді белгілеңіз:

    • Шифрлаумен қосылым атауын көрсетіңіз, мысалы vkcloud-encrypted.
    • crypt типін таңдаңыз.
    • Қосылым көзі ретінде vkcloud:backup-bucket көрсетіңіз.
    • Шифрлауға арналған негізгі және қосымша құпиясөздерді белгілеңіз.

    ~/.config/rclone/rclone.conf файлындағы қорытынды конфигурация мынадай болуы тиіс:

    [vkcloud-encrypted]type = cryptremote = vkcloud:backup-bucketpassword = <ПАРОЛЬ>password2 = <ПАРОЛЬ_СОЛЬ>

    Мұнда:

    • vkcloud:backup-bucket — қашықтағы жадқа толық жол, ол бұрын rclone config арқылы конфигурацияланған қашықтағы жадтың атауынан және VK Object Storage қызметіндегі бакеттің (жадтың) атауынан тұрады.
    • <ПАРОЛЬ> — шифрланған құпиясөз.
    • <ПАРОЛЬ_СОЛЬ> — қосымша шифрланған құпиясөз, оны rclone утилитасының алгоритмі қорытынды криптографиялық кілтті есептеу үшін негізгі құпиясөзбен біріктіреді.

4. (Қалауыңызша) Резервтік көшірмелерді сақтау саясаттарын конфигурациялаңыз

Ескірген резервтік көшірмелерді автоматты түрде жою үшін rclone-ның кірістірілген мүмкіндіктерін қолданыңыз:

  1. Берілген күн санынан ескі файлдарды жойыңыз:

    rclone delete vkcloud:backup-bucket --min-age 30d

Мұнда:

  • vkcloud:backup-bucket — қашықтағы жадқа толық жол, ол бұрын rclone config арқылы конфигурацияланған қашықтағы жадтың атауынан және VK Object Storage қызметіндегі бакеттің (жадтың) атауынан тұрады.
  • --min-age — файлдарды жасы бойынша фильтрлеу опциясы, ол берілген уақыттан ескі емес файлдарды, мысалы 30 күннен ескі емес, көшіруге немесе өңдеуге мүмкіндік береді.

Алдыңғы нұсқаларын сақтай отырып инкременталды бэкаптар жасау үшін --backup-dir флагын sync синхрондау командасында тікелей қолданыңыз.

5. Резервтік көшірме жасаудың жұмыс істеуін тексеріңіз

  1. Тесттік файл жасаңыз:

    mkdir -p /dataecho "test backup data" > /data/test-file.txt
  2. Резервтік көшірмелерді сақтаудың берілген фильтрлері және конфигурацияланған саясаттарымен шифрлау арқылы орындаңыз:

    rclone sync /data vkcloud-encrypted:/current \  --filter-from filter.txt \  --verbose \  --backup-dir vkcloud:backup-bucket/archive/$(date +%Y-%m-%d)

    Мұнда:

    • /data — деректерді тасымалдау қажет көз.
    • vkcloud-encrypted:/current — қашықтағы жадтың (VK Object Storage) /current қалтасына деректерді шифрлаумен қосылу.
    • --filter-from filter.txt — синхрондау кезінде деректерді фильтрлеу ережелері бар фильтр файлы.
    • --backup-dir — sync командасының мінез-құлқын анықтаудың опциясы: әр іске қосылғанда current қалтасындағы файлдардың ағымдағы нұсқасы archive/<ДАТА> қалтасына ауыстырылады, ал жаңа файлдар current қалтасына жүктеледі.
    • --verbose — егжей-тегжейлі шығарылымды қосу опциясы: файл атаулары, тасымалдау статусы, өткізіп жіберу, қателер, статистика және ағындар бойынша прогресс.
  3. Файлдың бакетте пайда болғанын тексеріңіз:

    rclone ls vkcloud-encrypted:

    Шығарылымда test-file.txt файлы болуы тиіс.

  4. Бакеттегі деректердің шифрланғанын тексеріңіз — VK Object Storage бакетіндегі объектілер тізімін тікелей шығарыңыз:

    rclone ls vkcloud:backup-bucket

    Файл атаулары мен олардың құрамы түпнұсқадан өзгеше болуы тиіс, себебі crypt атауларды да, деректерді де шифрлайды.

  5. Файлды резервтік көшірмеден қалпына келтіріңіз:

    mkdir -p /restored-datarclone copy vkcloud-encrypted:test-file.txt /restored-data/
  6. Қалпына келтірілген файлдың құрамын тексеріңіз:

    cat /restored-data/test-file.txt

    Шығарылымда мынау болуы тиіс: test backup data.

Қолданылмайтын ресурстарды жойыңыз

Бакет және оған жүктелген объектілер тарифтеленеді. Егер олар сізге енді қажет болмаса:

  1. Бакеттен объектілерді жойыңыз.
  2. Бакетті жойыңыз.
Мақала пайдалы болды ма?