rclone көмегімен нысандық қоймадағы деректерді резервтік көшірмелеу
VK Object Storage қызметінің көмегімен нақты тапсырмаға сай құрал таңдап, деректердің резервтік көшірмесін жасауды ұйымдастыруға болады. Командалық жолдан жұмыс істеу үшін rclone сай келеді — бұл S3-үйлесімді жадтарды, жылдамдықпен шифрлауды және икемді сақтау саясаттарын қолдайтын утилита.
Мысал ретінде кейіннен мына деректер қолданылады:
- Бакет атауы:
backup-bucket - Өңір:
ru-msk - VK Object Storage эндпоинті:
https://hb.ru-msk.vkcloud-storage.ru
-
VK Object Storage қызметіне аккаунт жасаңыз, егер ол әлі жасалмаса:
-
VK Cloud жеке кабинетіне өтіңіз.
-
Жобаны таңдаңыз.
-
Object Storage → Аккаунты бөліміне өтіңіз.
-
Аккаунт қосу немесе Қосу түймесін басыңыз.
-
Аккаунт атауын белгілеңіз.
-
Жасау түймесін басыңыз.
-
Ашылған терезеде қолжетімділік кілтінің идентификаторын (Access Key ID) және құпия кілтті (Secret Key) көшіріп, сақтаңыз.
-
-
AWS CLI орнатылғанын және жасалған VK Object Storage аккаунтымен жұмыс істеуге конфигурацияланғанын тексеріңіз. Бұл объектілердің өмірлік циклін CLI арқылы басқаруды жоспарласаңыз қажет болады.
-
backup-bucketатауымен бакет жасаңыз. -
rclone утилитасын ресми құжаттамаға сүйеніп орнатыңыз.
-
rclone-ды интерактивті конфигурациялауды іске қосыңыз:
rclone config -
Жаңа қосылым жасау үшін
n(new remote) опциясын таңдап, параметрлерді белгілеңіз:- Қосылым атауын көрсетіңіз, мысалы
vkcloud. s3(Storage) жад түрін таңдаңыз.- Провайдер ретінде
Otherтаңдаңыз (кез келген S3-үйлесімді провайдер). - Қосылым параметрлерін белгілеңіз.
~/.config/rclone/rclone.confфайлындағы қорытынды конфигурация мынадай болуы тиіс:[vkcloud]type = s3provider = Otherenv_auth = falseaccess_key_id = <ACCESS_KEY>secret_access_key = <SECRET_KEY>region = ru-mskendpoint = https://hb.ru-msk.vkcloud-storage.ruМұнда:
<ACCESS_KEY>— VK Object Storage аккаунтын жасаған кезде алынған Access Key ID мәні.<SECRET_KEY>— VK Object Storage аккаунтын жасаған кезде алынған Secret Key мәні.ru-msk— аккаунттың өңір коды. Қазақстан өңірі үшінkz-astқолданыңыз.https://hb.ru-msk.vkcloud-storage.ru— Мәскеу өңірінің VK Object Storage қызметінің эндпоинті. Қазақстан өңірі үшінhttps://hb.kz-ast.vkcloud-storage.ruқолданыңыз.
- Қосылым атауын көрсетіңіз, мысалы
-
Қосылымды мына команданы орындап тексеріңіз:
rclone lsd vkcloud:Шығарылымда жасалған
backup-bucketбакеті пайда болуы тиіс.
Резервтік көшірме жасау кезінде уақытша және қажетсіз файлдарды алып тастауға болады, бұл берілетін деректер көлемін және операцияны орындау уақытын қысқартады. Ол үшін filter.txt фильтр файлын жасап, онда алып тастау қажет файлдарды көрсетіңіз:
# filter.txt- *.tmp- node_modules/**+ *
Бұл файлдың атауын жергілікті және қашықтағы жадты синхрондау командасын шақырғанда --filter-from флагымен көрсету қажет болады.
Файл атауының алдындағы + белгісі файлды резервтік көшірмеге енгізу қажет екенін, ал - белгісі — елемеу қажет екенін білдіреді. Жоғарыдағы файл мысалында фильтрлер мынадай жұмыс істейді:
.tmp-мен аяқталатын барлық файлдарды алып тастау (кез келген ұяшықтау деңгейінде);node_modulesқалтасын және оның барлық құрамын рекурсивті алып тастау;- алдыңғы ережелерге сәйкес келмеген барлық қалғанын енгізу.
Егер жағдай күрделі болса немесе фильтрлеуге арналған файлдар аз болса, оларды sync синхрондау командасында --exclude немесе --include флагтары арқылы тікелей көрсетуге болады.
rclone утилитасы деректерді жадқа жібермес бұрын crypt типті қосылым арқылы шифрлауды қолдайды. Бұл бакетте серверлік шифрлау болмаса да, деректерді шифрланған түрде сақтауға мүмкіндік береді.
Жергілікті және қашықтағы жадты синхрондау кезінде шифрлауды конфигурациялау үшін:
-
rclone-ды интерактивті конфигурациялауды іске қосыңыз:
rclone config -
Жаңа қосылым жасау үшін
n(new remote) опциясын таңдап, параметрлерді белгілеңіз:- Шифрлаумен қосылым атауын көрсетіңіз, мысалы
vkcloud-encrypted. cryptтипін таңдаңыз.- Қосылым көзі ретінде
vkcloud:backup-bucketкөрсетіңіз. - Шифрлауға арналған негізгі және қосымша құпиясөздерді белгілеңіз.
~/.config/rclone/rclone.confфайлындағы қорытынды конфигурация мынадай болуы тиіс:[vkcloud-encrypted]type = cryptremote = vkcloud:backup-bucketpassword = <ПАРОЛЬ>password2 = <ПАРОЛЬ_СОЛЬ>Мұнда:
vkcloud:backup-bucket— қашықтағы жадқа толық жол, ол бұрынrclone configарқылы конфигурацияланған қашықтағы жадтың атауынан және VK Object Storage қызметіндегі бакеттің (жадтың) атауынан тұрады.<ПАРОЛЬ>— шифрланған құпиясөз.<ПАРОЛЬ_СОЛЬ>— қосымша шифрланған құпиясөз, оны rclone утилитасының алгоритмі қорытынды криптографиялық кілтті есептеу үшін негізгі құпиясөзбен біріктіреді.
- Шифрлаумен қосылым атауын көрсетіңіз, мысалы
Ескірген резервтік көшірмелерді автоматты түрде жою үшін rclone-ның кірістірілген мүмкіндіктерін қолданыңыз:
-
Берілген күн санынан ескі файлдарды жойыңыз:
rclone delete vkcloud:backup-bucket --min-age 30d
Мұнда:
vkcloud:backup-bucket— қашықтағы жадқа толық жол, ол бұрынrclone configарқылы конфигурацияланған қашықтағы жадтың атауынан және VK Object Storage қызметіндегі бакеттің (жадтың) атауынан тұрады.--min-age— файлдарды жасы бойынша фильтрлеу опциясы, ол берілген уақыттан ескі емес файлдарды, мысалы 30 күннен ескі емес, көшіруге немесе өңдеуге мүмкіндік береді.
Алдыңғы нұсқаларын сақтай отырып инкременталды бэкаптар жасау үшін --backup-dir флагын sync синхрондау командасында тікелей қолданыңыз.
-
Тесттік файл жасаңыз:
mkdir -p /dataecho "test backup data" > /data/test-file.txt -
Резервтік көшірмелерді сақтаудың берілген фильтрлері және конфигурацияланған саясаттарымен шифрлау арқылы орындаңыз:
rclone sync /data vkcloud-encrypted:/current \--filter-from filter.txt \--verbose \--backup-dir vkcloud:backup-bucket/archive/$(date +%Y-%m-%d)Мұнда:
/data— деректерді тасымалдау қажет көз.vkcloud-encrypted:/current— қашықтағы жадтың (VK Object Storage)/currentқалтасына деректерді шифрлаумен қосылу.--filter-from filter.txt— синхрондау кезінде деректерді фильтрлеу ережелері бар фильтр файлы.--backup-dir—syncкомандасының мінез-құлқын анықтаудың опциясы: әр іске қосылғандаcurrentқалтасындағы файлдардың ағымдағы нұсқасыarchive/<ДАТА>қалтасына ауыстырылады, ал жаңа файлдарcurrentқалтасына жүктеледі.--verbose— егжей-тегжейлі шығарылымды қосу опциясы: файл атаулары, тасымалдау статусы, өткізіп жіберу, қателер, статистика және ағындар бойынша прогресс.
-
Файлдың бакетте пайда болғанын тексеріңіз:
rclone ls vkcloud-encrypted:Шығарылымда
test-file.txtфайлы болуы тиіс. -
Бакеттегі деректердің шифрланғанын тексеріңіз — VK Object Storage бакетіндегі объектілер тізімін тікелей шығарыңыз:
rclone ls vkcloud:backup-bucketФайл атаулары мен олардың құрамы түпнұсқадан өзгеше болуы тиіс, себебі
cryptатауларды да, деректерді де шифрлайды. -
Файлды резервтік көшірмеден қалпына келтіріңіз:
mkdir -p /restored-datarclone copy vkcloud-encrypted:test-file.txt /restored-data/ -
Қалпына келтірілген файлдың құрамын тексеріңіз:
cat /restored-data/test-file.txtШығарылымда мынау болуы тиіс:
test backup data.
Бакет және оған жүктелген объектілер тарифтеленеді. Егер олар сізге енді қажет болмаса:
- Бакеттен объектілерді жойыңыз.
- Бакетті жойыңыз.