AWS S3 деректерін VK Cloud объектілік қоймасына көшіру
VK Object Storage сервисінің көмегімен AWS S3-тан деректерді көшіруге болады, бұл сақтау шығындарын азайтады және жеткізушіге тәуелділіктен (Vendor Lock-in) құтылуды қамтамасыз етеді. Көшіру AWS CLI немесе rclone құралдарымен орындалады, содан кейін деректердің тұтастығын тексеру және қосымшаларды жаңа эндпоинтқа ауыстыру жүзеге асырылады.
Мысал ретінде кейіннен мына деректер қолданылады:
- Дереккөз: AWS S3-тағы
my-aws-bucketбакеті,us-east-1аймағы. - Мақсат: VK Object Storage-тағы
my-vk-bucketбакеті,ru-mskаймағы. - Дереккөзге арналған AWS CLI профилі:
aws-source. - Мақсатқа арналған AWS CLI профилі:
vk-dest. - VK Object Storage эндпоинті:
https://hb.ru-msk.vkcloud-storage.ru.
Сынақ мәндерін өзіңіздің нақты деректеріңізбен ауыстырыңыз.
-
VK Object Storage сервисіне арналған аккаунт жасаңыз, егер бұрын жасалмаса:
-
VK Cloud жеке кабинетіне өтіңіз.
-
Жобаны таңдаңыз.
-
Object Storage → Аккаунтар бөліміне өтіңіз.
-
Аккаунт қосу немесе Қосу түймесін басыңыз.
-
Аккаунт атауын енгізіңіз.
-
Жасау түймесін басыңыз.
-
Ашылған терезеде қол жеткізу кілтінің идентификаторын (Access Key ID) және құпия кілтті (Secret Key) көшіріп сақтаңыз.
-
-
AWS CLI орнатылып, жасалған VK Object Storage аккаунтымен жұмыс істеуге бапталғанына көз жеткізіңіз.
-
(Қалауыңыз бойынша) Көшіру үшін AWS CLI орнына rclone қолдануды жоспарласаңыз, rclone орнатыңыз.
Көшірудің екі стратегиясы қолжетімді:
- Big Bang — деректерді бір рет өткізумен толық көшіру, содан кейін барлық қосымшаларды жаңа эндпоинтқа ауыстыру. Аз көлемдегі деректер немесе тоқтау уақытына рұқсат етілген жүйелерге жарамды. Көшіру басталғаннан кейін бастапқы бакеттегі өзгерістерді қайта көшіру қажет.
- Кезең-кезеңмен көшіру (Dual write) — қосымшалар деректерді екі қоймаға да параллель жазады, ал фондық процесс тарихи деректерді көшіреді. Көшіру аяқталғаннан кейін қосымшалар VK Object Storage-қа ауыстырылады. Тоқтау уақытына рұқсат етілмейтін жүйелер мен үлкен көлемдегі деректерге жарамды.
Әрі қарай aws s3 sync көмегімен Big Bang стратегиясы бойынша көшіру қарастырылады. Кезең-кезеңмен көшіру үшін сол құралды қолданыңыз, бірақ қосымшалар толық ауыстырылғанша синхронизацияны қайта-қайта іске қосыңыз.
aws s3 sync көмегімен көшіру үшін екі AWS CLI профилі қажет: біреуі AWS S3-тан оқуға, екіншісі VK Object Storage-қа жазуға.
-
AWS S3-қа қолжетімділік үшін
aws-sourceпрофилін баптаңыз, егер ол бұрын бапталмаса:aws configure --profile aws-sourceМәндерді енгізіңіз:
AWS Access Key ID— AWS S3-қа қолжетімділік кілті.AWS Secret Access Key— AWS S3 құпия кілті.Default region name— AWS S3 аймағы, мысалыus-east-1.Default output format—json.
-
VK Object Storage-қа қолжетімділік үшін
vk-destпрофилін баптаңыз:aws configure --profile vk-destМәндерді енгізіңіз:
AWS Access Key ID— бұрын сақталған VK Object Storage аккаунтының кілт идентификаторы (Access Key ID).AWS Secret Access Key— бұрын сақталған VK Object Storage аккаунтының құпия кілті (Secret Key).Default region name—ru-msk.Default output format—json.
-
Екі қоймаға да қолжетімділікті тексеріңіз:
aws s3 ls --profile aws-sourceaws s3 ls --endpoint-url https://hb.ru-msk.vkcloud-storage.ru --profile vk-destБірінші команда AWS S3 бакеттерінің тізімін, екіншісі VK Object Storage бакеттерінің тізімін шығаруы қажет.
Бакетті жасаңыз — my-vk-bucket VK Object Storage-та жеке кабинет арқылы немесе AWS CLI көмегімен:
aws s3api create-bucket \--bucket my-vk-bucket \--endpoint-url https://hb.ru-msk.vkcloud-storage.ru \--region ru-msk \--profile vk-dest
aws s3 sync командасы объектілерді бастапқы бакеттен мақсатты бакетке көшіреді, ETag және өлшемі сәйкес келетін бұрын көшірілген файлдарды өткізіп жібереді.
-
Синхронизацияны орындаңыз:
aws s3 sync s3://my-aws-bucket s3://my-vk-bucket \--source-region us-east-1 \--region ru-msk \--endpoint-url https://hb.ru-msk.vkcloud-storage.ru \--profile vk-destМұнда:
s3://my-aws-bucket— AWS S3-тың бастапқы бакеті.s3://my-vk-bucket— VK Object Storage-тың мақсатты бакеті.--source-region us-east-1— дереккөз аймағы.--region ru-msk— мақсат аймағы.--endpoint-url— VK Object Storage эндпоинті.--profile vk-dest— VK Object Storage-қа қолжетімділік кілттері бар профиль.
-
Синхронизацияның аяқталуын күтіңіз. Үлкен көлемдегі деректер үшін процесс айтарлықтай уақыт алуы мүмкін.
Көшіру аяқталғаннан кейін барлық объектілер дұрыс көшірілгеніне көз жеткізіңіз.
-
Бастапқы және мақсатты бакеттердегі объектілер санын салыстырыңыз:
aws s3api list-objects-v2 --bucket my-aws-bucket --profile aws-source --query "KeyCount" --output textaws s3api list-objects-v2 --bucket my-vk-bucket --endpoint-url https://hb.ru-msk.vkcloud-storage.ru --profile vk-dest --query "KeyCount" --output textМәндер сәйкес келуі қажет.
-
Объектілердің ETag (checksum) мәндерін салыстырыңыз. Екі бакеттен де объектілер тізімін алыңыз:
aws s3api list-objects-v2 --bucket my-aws-bucket --profile aws-source --query "Contents[*].[Key,ETag,Size]" --output text > aws-objects.txtaws s3api list-objects-v2 --bucket my-vk-bucket --endpoint-url https://hb.ru-msk.vkcloud-storage.ru --profile vk-dest --query "Contents[*].[Key,ETag,Size]" --output text > vk-objects.txt -
Алынған файлдарды салыстырыңыз:
diff aws-objects.txt vk-objects.txtЕгер шығу бос болса — барлық объектілер дұрыс көшірілген. Егер айырмашылықтар болса, синхронизацияны қайталап орындаңыз:
aws s3 sync s3://my-aws-bucket s3://my-vk-bucket \--source-region us-east-1 \--region ru-msk \--endpoint-url https://hb.ru-msk.vkcloud-storage.ru \--profile vk-dest
-
VK Object Storage эндпоинтын қолдану үшін қосымшалардың конфигурациясын жаңартыңыз:
- Endpoint URL:
https://hb.ru-msk.vkcloud-storage.ru - Region:
ru-msk - Access Key ID және Secret Key — VK Object Storage аккаунтының кілттері.
- Bucket name:
my-vk-bucket
- Endpoint URL:
-
Егер қосымшалар бакетке домен атауы арқылы қол жеткізсе, DNS-жазбаларды жаңартыңыз. Публикті объектілер үшін
https://<БАКЕТ_АТАУЫ>.hb.ru-msk.vkcloud-storage.ru/<ОБЪЕКТ_КІЛТІ>форматындағы URL қолданыңыз. -
Егер Dual write стратегиясы қолданылса, қосымшалардың VK Object Storage-пен дұрыс жұмыс істеуі расталғаннан кейін AWS S3-қа жазуды тоқтатыңыз.
-
Негізгі көшіруден кейін өзгертілген объектілерді көшіру үшін соңғы синхронизацияны орындаңыз:
aws s3 sync s3://my-aws-bucket s3://my-vk-bucket \--source-region us-east-1 \--region ru-msk \--endpoint-url https://hb.ru-msk.vkcloud-storage.ru \--profile vk-dest
Көшіру аяқталғаннан және қосымшалардың VK Object Storage-пен дұрыс жұмыс істеуі расталғаннан кейін AWS документациясына сәйкес AWS S3-тағы деректер мен бакетті жойыңыз.
VK Object Storage-тағы бакет және оған жүктелген объектілер тарифтеленеді. Егер олар сізге қажет болмаса: