VK Cloud logo

AWS S3 деректерін VK Cloud объектілік қоймасына көшіру

VK Object Storage сервисінің көмегімен AWS S3-тан деректерді көшіруге болады, бұл сақтау шығындарын азайтады және жеткізушіге тәуелділіктен (Vendor Lock-in) құтылуды қамтамасыз етеді. Көшіру AWS CLI немесе rclone құралдарымен орындалады, содан кейін деректердің тұтастығын тексеру және қосымшаларды жаңа эндпоинтқа ауыстыру жүзеге асырылады.

Мысал ретінде кейіннен мына деректер қолданылады:

  • Дереккөз: AWS S3-тағы my-aws-bucket бакеті, us-east-1 аймағы.
  • Мақсат: VK Object Storage-тағы my-vk-bucket бакеті, ru-msk аймағы.
  • Дереккөзге арналған AWS CLI профилі: aws-source.
  • Мақсатқа арналған AWS CLI профилі: vk-dest.
  • VK Object Storage эндпоинті: https://hb.ru-msk.vkcloud-storage.ru.

Сынақ мәндерін өзіңіздің нақты деректеріңізбен ауыстырыңыз.

Дайындық қадамдар

  1. VK Object Storage сервисіне арналған аккаунт жасаңыз, егер бұрын жасалмаса:

    1. VK Cloud жеке кабинетіне өтіңіз.

    2. Жобаны таңдаңыз.

    3. Object Storage → Аккаунтар бөліміне өтіңіз.

    4. Аккаунт қосу немесе Қосу түймесін басыңыз.

    5. Аккаунт атауын енгізіңіз.

    6. Жасау түймесін басыңыз.

    7. Ашылған терезеде қол жеткізу кілтінің идентификаторын (Access Key ID) және құпия кілтті (Secret Key) көшіріп сақтаңыз.

  2. AWS CLI орнатылып, жасалған VK Object Storage аккаунтымен жұмыс істеуге бапталғанына көз жеткізіңіз.

  3. (Қалауыңыз бойынша) Көшіру үшін AWS CLI орнына rclone қолдануды жоспарласаңыз, rclone орнатыңыз.

1. Көшіру стратегиясын таңдаңыз

Көшірудің екі стратегиясы қолжетімді:

  • Big Bang — деректерді бір рет өткізумен толық көшіру, содан кейін барлық қосымшаларды жаңа эндпоинтқа ауыстыру. Аз көлемдегі деректер немесе тоқтау уақытына рұқсат етілген жүйелерге жарамды. Көшіру басталғаннан кейін бастапқы бакеттегі өзгерістерді қайта көшіру қажет.
  • Кезең-кезеңмен көшіру (Dual write) — қосымшалар деректерді екі қоймаға да параллель жазады, ал фондық процесс тарихи деректерді көшіреді. Көшіру аяқталғаннан кейін қосымшалар VK Object Storage-қа ауыстырылады. Тоқтау уақытына рұқсат етілмейтін жүйелер мен үлкен көлемдегі деректерге жарамды.

Әрі қарай aws s3 sync көмегімен Big Bang стратегиясы бойынша көшіру қарастырылады. Кезең-кезеңмен көшіру үшін сол құралды қолданыңыз, бірақ қосымшалар толық ауыстырылғанша синхронизацияны қайта-қайта іске қосыңыз.

2. Дереккөз бен мақсат үшін AWS CLI профильдерін баптаңыз

aws s3 sync көмегімен көшіру үшін екі AWS CLI профилі қажет: біреуі AWS S3-тан оқуға, екіншісі VK Object Storage-қа жазуға.

  1. AWS S3-қа қолжетімділік үшін aws-source профилін баптаңыз, егер ол бұрын бапталмаса:

    aws configure --profile aws-source

    Мәндерді енгізіңіз:

    • AWS Access Key ID — AWS S3-қа қолжетімділік кілті.
    • AWS Secret Access Key — AWS S3 құпия кілті.
    • Default region name — AWS S3 аймағы, мысалы us-east-1.
    • Default output format — json.
  2. VK Object Storage-қа қолжетімділік үшін vk-dest профилін баптаңыз:

    aws configure --profile vk-dest

    Мәндерді енгізіңіз:

    • AWS Access Key ID — бұрын сақталған VK Object Storage аккаунтының кілт идентификаторы (Access Key ID).
    • AWS Secret Access Key — бұрын сақталған VK Object Storage аккаунтының құпия кілті (Secret Key).
    • Default region name — ru-msk.
    • Default output format — json.
  3. Екі қоймаға да қолжетімділікті тексеріңіз:

    aws s3 ls --profile aws-sourceaws s3 ls --endpoint-url https://hb.ru-msk.vkcloud-storage.ru --profile vk-dest

    Бірінші команда AWS S3 бакеттерінің тізімін, екіншісі VK Object Storage бакеттерінің тізімін шығаруы қажет.

3. VK Cloud-та мақсатты бакетті жасаңыз

Бакетті жасаңыз — my-vk-bucket VK Object Storage-та жеке кабинет арқылы немесе AWS CLI көмегімен:

aws s3api create-bucket \    --bucket my-vk-bucket \    --endpoint-url https://hb.ru-msk.vkcloud-storage.ru \    --region ru-msk \    --profile vk-dest

4. Деректерді көшіруді орындаңыз

aws s3 sync командасы объектілерді бастапқы бакеттен мақсатты бакетке көшіреді, ETag және өлшемі сәйкес келетін бұрын көшірілген файлдарды өткізіп жібереді.

  1. Синхронизацияны орындаңыз:

    aws s3 sync s3://my-aws-bucket s3://my-vk-bucket \    --source-region us-east-1 \    --region ru-msk \    --endpoint-url https://hb.ru-msk.vkcloud-storage.ru \    --profile vk-dest

    Мұнда:

    • s3://my-aws-bucket — AWS S3-тың бастапқы бакеті.
    • s3://my-vk-bucket — VK Object Storage-тың мақсатты бакеті.
    • --source-region us-east-1 — дереккөз аймағы.
    • --region ru-msk — мақсат аймағы.
    • --endpoint-url — VK Object Storage эндпоинті.
    • --profile vk-dest — VK Object Storage-қа қолжетімділік кілттері бар профиль.
  2. Синхронизацияның аяқталуын күтіңіз. Үлкен көлемдегі деректер үшін процесс айтарлықтай уақыт алуы мүмкін.

5. Көшірілген деректердің тұтастығын тексеріңіз

Көшіру аяқталғаннан кейін барлық объектілер дұрыс көшірілгеніне көз жеткізіңіз.

  1. Бастапқы және мақсатты бакеттердегі объектілер санын салыстырыңыз:

    aws s3api list-objects-v2 --bucket my-aws-bucket --profile aws-source --query "KeyCount" --output textaws s3api list-objects-v2 --bucket my-vk-bucket --endpoint-url https://hb.ru-msk.vkcloud-storage.ru --profile vk-dest --query "KeyCount" --output text

    Мәндер сәйкес келуі қажет.

  2. Объектілердің ETag (checksum) мәндерін салыстырыңыз. Екі бакеттен де объектілер тізімін алыңыз:

    aws s3api list-objects-v2 --bucket my-aws-bucket --profile aws-source --query "Contents[*].[Key,ETag,Size]" --output text > aws-objects.txtaws s3api list-objects-v2 --bucket my-vk-bucket --endpoint-url https://hb.ru-msk.vkcloud-storage.ru --profile vk-dest --query "Contents[*].[Key,ETag,Size]" --output text > vk-objects.txt
  3. Алынған файлдарды салыстырыңыз:

    diff aws-objects.txt vk-objects.txt

    Егер шығу бос болса — барлық объектілер дұрыс көшірілген. Егер айырмашылықтар болса, синхронизацияны қайталап орындаңыз:

    aws s3 sync s3://my-aws-bucket s3://my-vk-bucket \    --source-region us-east-1 \    --region ru-msk \    --endpoint-url https://hb.ru-msk.vkcloud-storage.ru \    --profile vk-dest

6. Қосымшаларды жаңа эндпоинтқа ауыстырыңыз

  1. VK Object Storage эндпоинтын қолдану үшін қосымшалардың конфигурациясын жаңартыңыз:

    • Endpoint URL: https://hb.ru-msk.vkcloud-storage.ru
    • Region: ru-msk
    • Access Key ID және Secret Key — VK Object Storage аккаунтының кілттері.
    • Bucket name: my-vk-bucket
  2. Егер қосымшалар бакетке домен атауы арқылы қол жеткізсе, DNS-жазбаларды жаңартыңыз. Публикті объектілер үшін https://<БАКЕТ_АТАУЫ>.hb.ru-msk.vkcloud-storage.ru/<ОБЪЕКТ_КІЛТІ> форматындағы URL қолданыңыз.

  3. Егер Dual write стратегиясы қолданылса, қосымшалардың VK Object Storage-пен дұрыс жұмыс істеуі расталғаннан кейін AWS S3-қа жазуды тоқтатыңыз.

  4. Негізгі көшіруден кейін өзгертілген объектілерді көшіру үшін соңғы синхронизацияны орындаңыз:

    aws s3 sync s3://my-aws-bucket s3://my-vk-bucket \    --source-region us-east-1 \    --region ru-msk \    --endpoint-url https://hb.ru-msk.vkcloud-storage.ru \    --profile vk-dest

Қолданылмайтын ресурстарды жойыңыз

Көшіру аяқталғаннан және қосымшалардың VK Object Storage-пен дұрыс жұмыс істеуі расталғаннан кейін AWS документациясына сәйкес AWS S3-тағы деректер мен бакетті жойыңыз.

VK Object Storage-тағы бакет және оған жүктелген объектілер тарифтеленеді. Егер олар сізге қажет болмаса:

  1. Объектілерді жойыңыз.
  2. Бакетті жойыңыз.
Мақала пайдалы болды ма?